在你睡觉时自我改进的智能体——Fuad Ali，Arize AI

jwuthri-cloud/Tracely-ai

面向 AI Agent 的 trace 原生 CI/CD 工具：对生产环境 trace 打分、将失败聚类成问题、把坏运行冻结为可重放的回归测试，并阻止会引入回归的 PR，同时发出通知。可自托管，标签显示使用 ClickHouse 和 Python。

没有基准时如何测试 AI 代理——Air Canada 的 Nathanael Weill

How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada

演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。

高风险 AI 智能体的评估

Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。

AI 工程师现在做什么？——Aparna Dhinakaran，Arize AI

What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI

Arize AI 的 Aparna Dhinakaran 讨论在领域从编写功能转向运行智能体工厂的过程中，AI 工程师的实际工作是什么，认为当前的任务是构建闭环：评估非确定性工作的评测、智能体消费的遥测，以及据此行动的智能体。她介绍 Arize 如何构建常驻智能体 Signal，用于读取追踪数据、记住以往问题并提交 PR，内容涉及触发条件、沙箱、持久状态以及如何评估评估器。

如何判断 AI 智能体何时可以无人监督地工作

How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase

Coinbase 的 Evan Kormos（有 15 年企业金融服务经验）介绍把智能体引入政策驱动、受监管工作流的实用方法：把流程建模为 DAG 和循环，说明一个循环的可信度取决于它的检查，并展示评估与追踪如何成为新的信心机制。智能体随后经历三个阶段：完全监督、抽样监督、仅由人处理异常。材料按章节列出讲解顺序。

使用 LangChain Deep Agents 进行循环工程

Loop Engineering with LangChain Deep Agents

DeepLearning.AI 上的一门中级课程，讲师为 Sydney Runkle 和 Esmaeil Gargari，时长约 1 小时 16 分钟，含 8 个视频课、4 个代码示例和 2 个评分作业，需 PRO 会员。内容介绍围绕智能体的四种循环（智能体循环、验证循环、事件驱动循环、爬山式改进循环），并动手构建智能体循环、加入由评估器按明确标准检查输出并反馈重试的验证循环、由 Slack 消息或 Jira 工单等事件自动触发，以及分析多次运行的追踪记录来改进执行框架。