讲座深入
你的 LLM 评审是个自信的骗子：构建更好的验证器 — Browserbase
Your LLM Judge Is a Confident Liar: Building Better Verifiers — Browserbase
一场技术演讲，演讲者为 Browserbase agent 平台技术负责人 Miguel González Fernández 与微软研究院研究员 Corby Rosset，介绍面向计算机使用与网页 agent 的验证器研究。内容指出常见网页基准自带的 LLM judge 会高估成功率（官方 judge 报 74%，更好的验证器报 38%），并讲解 Universal Verifier 的做法：任务专属评分细则、挑选最相关截图作为证据、隔离错误、识别幻觉、区分可控与不可控失败，将误报从约一半降到接近零，并用 Cohen's kappa 与人工标注对照验证。还讨论了用 autoresearch 自动构建验证器的效果。适合做 agent 评测与基准研究的人观看。
- 分级
- 值得看
- 收录时间
- 2026-11-02