# 从零到排行榜：代理评估——Wolfram Ravenwolf，Weights & Biases

- 原标题：From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases
- 类型：教程
- 来源：YouTube
- 发布时间：2026-10-12
- 首次精选：2026-10-26 16:31
- 分级：值得看
- 原文链接：[https://youtube.com/watch?v=YIxzNZDDy1A](<https://youtube.com/watch?v=YIxzNZDDy1A>)
- 本站页面：[https://oplearnx.com/resources/pk\_cce98e9883f4](<https://oplearnx.com/resources/pk_cce98e9883f4>)

## 摘要

这是一场演讲，讲者 Wolfram Ravenwolf 以“代理修复损坏的 git 仓库并得满分、但因只测了一个任务而未进入默认排行榜”为例，介绍一套每个分数都能追溯到其条件的评估流程。WolfBench 会比较平均、最好与最差运行、至少成功一次的任务和每次都成功的任务，并说明配置包含基准、运行器、沙箱、代理、模型服务和设置六层，版本、供应商路由、系统提示、资源限制与超时都会影响结果实际衡量的内容。现场流程通过 Harbor 启动 Terminal Bench 任务，收集结果，在 Marimo 仪表盘过滤不完整运行并生成交互式排行榜，Weave 保留轨迹供审查命令、消息与失败，讲者还讨论了更便宜模型耗 token 抬高总成本、更高推理投入反而降分、基础设施故障与真实任务失败的区分等问题。

---
来源：LearnMap · 学径（https://oplearnx.com）