# 追踪与故障诊断 学习记录执行轨迹、定位失败和监控线上表现，适合维护 AI 系统的开发者。 - 所属：[评测、安全与治理]() - 网站：[https://oplearnx.com/topics/agent-observability]() ## 推荐学习顺序 1. [Charonyuu/whatsmyagentdoing]()（项目 · 入门）：一个 Claude Code / Codex 技能，输入 /myoffice 后可在浏览器中以小办公室画面的形式实时查看本机上各个 Claude Code、Codex 和 Gemini CLI 智能体正在做什么，提供 3D、2D 和列表视图。通过 git clone 到相应 skills 目录安装，需要 Node 18 以上，并带演示模式。 2. [Entelligence-AI/agentplay]()（项目 · 入门）：一个开源项目，用于以地图和时间线的形式回放编程智能体会话，标签涉及 agent 可观测性、Claude Code、Codex、Cursor、GitHub Copilot 等。项目主页为 entelligence.ai/agentplay，在 PyPI 发布 Python 包，采用 Apache 2.0 许可证。 3. [如何写出你的第一个 AI 评估（Eval）——SallyAnn DeLucia，Arize AI]()（教程 · 入门）：这是 Arize AI 产品负责人 SallyAnn DeLucia 的实操工作坊录像，讲如何从依赖“感觉检查”转向正式的 AI 评估。内容涵盖 eval 的定义及其与单元测试的区别、主要评估类型（LLM 作为评审、决策模型、代码评估、人工标注、agent 作为评审）、如何阅读 trace、如何写出具体的通过/失败标准，以及在 Arize 的 prompt playground 中构建并迭代 LLM 评审。视频附有分章节时间轴。 4. [如何判断你的 AI 智能体是否靠谱：用 Phoenix 与 Claude 做评估]()（教程 · 进阶）：这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。 5. [Claude 抓到了 Claude 在浪费 token]()（帖子 · 进阶）：一篇 r/ClaudeAI 社区帖子，作者自建了一个语音触发 CLI 工具（STT→服务器→Claude Code→TTS），某次测试后由另一个 Claude 会话读取日志，发现模型首轮运行 72 秒、输出约 8000 个 token 的纯文本，内容几乎全是零宽 Unicode 字符，没有工具调用，因此用户什么也没听到。帖子记录了该轮日志约 8002 个输出 token、估算成本约 0.24 美元。适合用 Claude Code 搭建语音代理或关心 token 消耗排查的人阅读。 6. [你的智能体修复改坏了别的东西——Sofia Jakovcevic，Arize AI]()（博客 · 进阶）：Arize AI 的前置部署工程师 Sofia Jakovcevic 以一处一行提示词改动使客服智能体安全性提高 17 个百分点、完成任务能力下降 17 个百分点为例，说明智能体是在运行时而非在代码中失败。她介绍一套基于生产追踪数据构建的五步回归流程：整理数据集、用评估器打分、运行基线实验、比较改动、在 CI 中卡住合并，并演示如何用编码智能体读取追踪数据自我修复。 7. [AI 工程师现在做什么？——Aparna Dhinakaran，Arize AI]()（博客 · 进阶）：Arize AI 的 Aparna Dhinakaran 讨论在领域从编写功能转向运行智能体工厂的过程中，AI 工程师的实际工作是什么，认为当前的任务是构建闭环：评估非确定性工作的评测、智能体消费的遥测，以及据此行动的智能体。她介绍 Arize 如何构建常驻智能体 Signal，用于读取追踪数据、记住以往问题并提交 PR，内容涉及触发条件、沙箱、持久状态以及如何评估评估器。 8. [别轻信你的 AI 智能体，像科学家一样测试它们——Stephanie Jarmak，Omni Analytics]()（教程 · 进阶）：讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读，例如仅更换评测框架就让结果变化 30%；主张把公开基准用于初筛而非决策，并像做实验一样设计自建评测：真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。 9. [如何用 Harbor 在真实任务上测试你的智能体——Xander Song，Arize AI]()（教程 · 进阶）：这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频，Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹；随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor，用于测试一次将智能体导向新 SQL 工具的提示改动，最后是问答环节。 10. [在 OpenAI 安全地运行 Codex]()（博客 · 进阶）：OpenAI 于 2026 年 5 月 8 日发布的安全类文章，说明 OpenAI 在真实工作流中如何治理编程智能体 Codex，涉及沙箱、审批、网络策略和面向智能体的遥测等控制手段与边界。内容面向关注安全合规采用编程智能体的团队。 11. [问题不在你的 AI，而在你的基础设施——Jiachen Jiang，Coder]()（博客 · 进阶）：这是一场会议演讲录像。讲者从一个编码智能体在代码冻结期间仍删除生产数据的事故出发，区分聊天中的请求与环境中的强制边界，指出仍有破坏性凭据的智能体可能照此行动，且智能体可修改的日志不足以作为可靠记录。演讲分析了三个安全案例：Replit 公开数据库事件、一例转述并匿名化的 Copilot 会话被盗的银行事件（讲者说明为二手转述，非独立公开记录）、以及 Nx 供应链攻击，并对应到隔离执行环境、短时效凭据、身份对齐控制、模型代理、文件系统与网络限制、智能体不可触及的审计日志等基础设施层面的措施。 12. [如何判断 AI 智能体何时可以无人监督地工作]()（博客 · 进阶）：Coinbase 的 Evan Kormos（有 15 年企业金融服务经验）介绍把智能体引入政策驱动、受监管工作流的实用方法：把流程建模为 DAG 和循环，说明一个循环的可信度取决于它的检查，并展示评估与追踪如何成为新的信心机制。智能体随后经历三个阶段：完全监督、抽样监督、仅由人处理异常。材料按章节列出讲解顺序。 13. [在你睡觉时自我改进的智能体——Fuad Ali，Arize AI]()（教程 · 进阶）：这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。 14. [jwuthri-cloud/Tracely-ai]()（项目 · 进阶）：面向 AI Agent 的 trace 原生 CI/CD 工具：对生产环境 trace 打分、将失败聚类成问题、把坏运行冻结为可重放的回归测试，并阻止会引入回归的 PR，同时发出通知。可自托管，标签显示使用 ClickHouse 和 Python。 15. [使用 LangChain Deep Agents 进行循环工程]()（课程 · 进阶）：DeepLearning.AI 上的一门中级课程，讲师为 Sydney Runkle 和 Esmaeil Gargari，时长约 1 小时 16 分钟，含 8 个视频课、4 个代码示例和 2 个评分作业，需 PRO 会员。内容介绍围绕智能体的四种循环（智能体循环、验证循环、事件驱动循环、爬山式改进循环），并动手构建智能体循环、加入由评估器按明确标准检查输出并反馈重试的验证循环、由 Slack 消息或 Jira 工单等事件自动触发，以及分析多次运行的追踪记录来改进执行框架。 16. [AI 把我们的调研时间从 7 天缩短到 15 分钟——Vanguard 的 Gareth Yoder]()（博客 · 进阶）：演讲者负责 Vanguard 的现金项目，介绍如何现代化一个每天最多承载 3000 万次调用的现金账本，并并行推进数据、生产者和消费者三类迁移。转折点是通过 MCP 服务器把遗留代码库开放给 AI 工具，使原本需大型机工程师花 7 天的调研缩短到 15 分钟。最后给出五条经验：让遗留代码可被 AI 查询、把迁移文档当产品、重构而非直接搬迁、渐进式引入 AI、不跳过可观测性。 17. [剖析 TorchNeuron（第一部分）：在 AWS Trainium 上进行系统级性能剖析]()（教程 · 进阶）：这是关于 AWS Trainium 的系列文章第一篇，介绍如何系统地分析推理性能并找出时间开销所在。文章使用 Trainium 专用的开源 PyTorch 后端 TorchNeuron，讲解如何配置 torch.profiler 并抓取干净的 trace、阅读 key\_averages\(\) 表格以识别消耗 Neuron 设备时间的算子、以及通过 Neuron Explorer 追踪单个算子从框架调度到 NeuronCore 硬件执行的过程。文中说明从零讲起，假定读者没有性能剖析经验。 --- 中文标题与摘要由模型根据原文生成，以原文为准。 来源：LearnMap · 学径（https://oplearnx.com）