从零到排行榜：代理评估——Wolfram Ravenwolf，Weights & Biases

From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases

AI 导读

这是一场演讲，讲者 Wolfram Ravenwolf 以“代理修复损坏的 git 仓库并得满分、但因只测了一个任务而未进入默认排行榜”为例，介绍一套每个分数都能追溯到其条件的评估流程。WolfBench 会比较平均、最好与最差运行、至少成功一次的任务和每次都成功的任务，并说明配置包含基准、运行器、沙箱、代理、模型服务和设置六层，版本、供应商路由、系统提示、资源限制与超时都会影响结果实际衡量的内容。现场流程通过 Harbor 启动 Terminal Bench 任务，收集结果，在 Marimo 仪表盘过滤不完整运行并生成交互式排行榜，Weave 保留轨迹供审查命令、消息与失败，讲者还讨论了更便宜模型耗 token 抬高总成本、更高推理投入反而降分、基础设施故障与真实任务失败的区分等问题。