学习记录执行轨迹、定位失败和监控线上表现，适合维护 AI 系统的开发者。
17 条精选 · 入门 3 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
这是 Arize AI 产品负责人 SallyAnn DeLucia 的实操工作坊录像，讲如何从依赖“感觉检查”转向正式的 AI 评估。内容涵盖 eval 的定义及其与单元测试的区别、主要评估类型（LLM 作为评审、决策模型、代码评估、人工标注、agent 作为评审）、如何阅读 trace、如何写出具体的通过/失败标准，以及在 Arize 的 prompt playground 中构建并迭代 LLM 评审。视频附有分章节时间轴。
How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI
这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。
Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读，例如仅更换评测框架就让结果变化 30%；主张把公开基准用于初筛而非决策，并像做实验一样设计自建评测：真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频，Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹；随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor，用于测试一次将智能体导向新 SQL 工具的提示改动，最后是问答环节。
Agents That Self Improve While You Sleep - Fuad Ali, Arize AI
这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
这是关于 AWS Trainium 的系列文章第一篇，介绍如何系统地分析推理性能并找出时间开销所在。文章使用 Trainium 专用的开源 PyTorch 后端 TorchNeuron，讲解如何配置 torch.profiler 并抓取干净的 trace、阅读 key_averages() 表格以识别消耗 Neuron 设备时间的算子、以及通过 Neuron Explorer 追踪单个算子从框架调度到 NeuronCore 硬件执行的过程。文中说明从零讲起，假定读者没有性能剖析经验。