学习模型打分、评分细则和证据核验，适合设计自动审核与质量评估的读者。
28 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
这是 Arize AI 产品负责人 SallyAnn DeLucia 的实操工作坊录像，讲如何从依赖“感觉检查”转向正式的 AI 评估。内容涵盖 eval 的定义及其与单元测试的区别、主要评估类型（LLM 作为评审、决策模型、代码评估、人工标注、agent 作为评审）、如何阅读 trace、如何写出具体的通过/失败标准，以及在 Arize 的 prompt playground 中构建并迭代 LLM 评审。视频附有分章节时间轴。
The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft
微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景，从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用，以及一个 LangChain v1 旅行智能体。之后转向评估：字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具，以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为，替换并实测才能看出差异。
How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI
这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。
Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。
Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。
How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival
一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。