# 别轻信你的 AI 智能体，像科学家一样测试它们——Stephanie Jarmak，Omni Analytics

- 原标题：Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
- 类型：教程
- 来源：YouTube
- 发布时间：2026-10-23
- 首次精选：2026-10-26 15:44
- 分级：值得看
- 学习层级：进阶
- 主题：[agent-evaluation-reliability](<https://oplearnx.com/md/topics/agent-evaluation-reliability.md>)（第 7 位）、[agent-observability](<https://oplearnx.com/md/topics/agent-observability.md>)（第 11 位）、[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 14 位）
- 原文链接：[https://youtube.com/watch?v=A3FL\_zTQKU0](<https://youtube.com/watch?v=A3FL_zTQKU0>)
- 本站页面：[https://oplearnx.com/resources/pk\_4a359db48ee7](<https://oplearnx.com/resources/pk_4a359db48ee7>)

## 摘要

讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读，例如仅更换评测框架就让结果变化 30%；主张把公开基准用于初筛而非决策，并像做实验一样设计自建评测：真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。

---
来源：LearnMap · 学径（https://oplearnx.com）