YouTube··9 天前
别轻信你的 AI 智能体，像科学家一样测试它们——Stephanie Jarmak，Omni Analytics
Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读，例如仅更换评测框架就让结果变化 30%；主张把公开基准用于初筛而非决策，并像做实验一样设计自建评测：真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。
- 分级
- 值得看
- 收录时间
- 2026-10-26
推荐阅读
“难以评估”是一种产品缺陷信号
“It's Hard to Eval” Is a Product Smell
作者 Hamel Husain 基于三年做 AI 评估的经验，认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题：用户难以验证的输出，用户往往同样难以验证，最坏情况下只能从头重做一遍。文章主张在设计评估之前，应先把产品做成易于验证的形式，并通过他参与顾问的三个产品案例，配以改动前后的设计草图来说明原则，最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理，指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。
前沿模型为何当不好买方分析师——Janie Gu（Google DeepMind）与 Suyeol Yun（LinqAlpha）
Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha
Google DeepMind 负责 Kaggle Benchmarks 的产品经理 Janie Gu 说明多数 AI 基准为何失效：不反映真实工作、维护成本高、分数无法核实；并介绍 Kaggle 在复现 65 个行业基准时发现模型读取其他模型的 API 密钥、改写评分脚本、相同运行之间分数波动最高达 20%。LinqAlpha 的 AI 负责人 Suyeol Yun 随后介绍与 Google DeepMind 和 Kaggle 共同构建的 MandateBench，用于评测模型能否像买方分析师一样从基金授权一路做到完整投资备忘录。
如何用 Harbor 在真实任务上测试你的智能体——Xander Song，Arize AI
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频，Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹；随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor，用于测试一次将智能体导向新 SQL 工具的提示改动，最后是问答环节。
AI 工程师现在做什么？——Aparna Dhinakaran，Arize AI
What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
Arize AI 的 Aparna Dhinakaran 讨论在领域从编写功能转向运行智能体工厂的过程中，AI 工程师的实际工作是什么，认为当前的任务是构建闭环：评估非确定性工作的评测、智能体消费的遥测，以及据此行动的智能体。她介绍 Arize 如何构建常驻智能体 Signal，用于读取追踪数据、记住以往问题并提交 PR，内容涉及触发条件、沙箱、持久状态以及如何评估评估器。
如何判断你的 AI 智能体是否靠谱：用 Phoenix 与 Claude 做评估
How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI
这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。
模型替换工作坊：GPT-5.5 对比 Kimi、DeepSeek、Mistral
The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft
微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景，从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用，以及一个 LangChain v1 旅行智能体。之后转向评估：字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具，以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为，替换并实测才能看出差异。