# 没有基准时如何测试 AI 代理——Air Canada 的 Nathanael Weill

- 原标题：How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
- 类型：博客
- 来源：YouTube
- 发布时间：2026-10-22
- 首次精选：2026-10-26 16:31
- 分级：值得看
- 学习层级：进阶
- 主题：[agent-evaluation-reliability](<https://oplearnx.com/md/topics/agent-evaluation-reliability.md>)（第 8 位）、[judges-quality-validation](<https://oplearnx.com/md/topics/judges-quality-validation.md>)（第 10 位）
- 原文链接：[https://youtube.com/watch?v=c\_SPW\_\_jF9w](<https://youtube.com/watch?v=c_SPW__jF9w>)
- 本站页面：[https://oplearnx.com/resources/pk\_c1d09ebf7c54](<https://oplearnx.com/resources/pk_c1d09ebf7c54>)

## 摘要

演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。

---
来源：LearnMap · 学径（https://oplearnx.com）