教程精选。
Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI
这场演讲展示一个金融智能体出现编造答案、重复调用工具、生成被自身评估判为错误的总结等失败，讲者 Ankur Duggal 通过 Arize 的命令行工具和技能把这些问题交给编码智能体处理，让它调查调用链、修改应用并运行实验。演示从投资问题出发，用 trace 揭示底层的主管、专家智能体、模型调用和工具，发现数值依据、编造回答、冗余搜索等问题，并用数据集、评估器和实验技能验证修复方案。问答涉及本地实验执行、评判模型、评估成本、采样，以及编码智能体把精力花在 lint 上的风险。
Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI
Weco AI 的工作坊把“提出改动—评估—保留更好结果”的研究循环做成可动手的实验，用 Mini Parameter Golf 让训练实验小到可以边跑边检查。Zhengyao Jiang 介绍自动研究作为反复提出与评估的过程，Dixing Xu 讲解团队的 Aiden 系统及其在 OpenAI Parameter Golf 挑战中的工作，另两位讲者则演示由可修改源文件、固定评估命令和可度量目标组成的实用配置。内容涉及评估要快且稳定、指标方向明确、时间限制、初始引导和防止奖励作弊，并展示实验树、分支和转向正在运行的搜索。最后用一个 Flappy Bird 控制器任务替换模型训练，配有隐藏验证集和编辑权限限制。
Build a Research Agent with Claude Managed Agents (Part 2 of 4) — Anthropic
Priyanka Phatak 先在控制台完成一个无代码 Agent，随后 Gabe Cemaj 带领动手构建：一个在会话事件流上搭建聊天界面的“研究台”应用。他加入 SEC EDGAR skill、子 Agent、自定义工具和共享记忆存储，然后对英伟达做一次按结果评分的分析，评分器依评分标准检查工作，Claude 反复重试直至通过。问答涉及 vault、Agent SDK 与托管 Agent 的对比、护栏、记忆共享和 MCP tunnel。
How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival
一个会议演讲视频。演讲者从“更便宜的候选模型与生产模型在 18% 的样例上不一致，是否直接拒绝”这一问题切入，指出先用现有模型重复运行可得到约 7% 的自我不一致率，因此简单的模型间一致率不足以衡量质量。他以名为 HarborBite 的合成示例（作为大型指令提示词的代理，并说明并非真实节省百万美元的证据）展示降低成本的流程：先做可观测性（记录提示词版本、模型选择、token、延迟、成本），再用前缀缓存、DSPy 和 GEPA 搜索更短的指令，示例提示词缩减 51% 但仍需质量测试。还涉及影子评估、人工复核分歧、净增益的配对置信区间作为发布标准，以及对关键客户类别单独检查。
Memory-Aware Agent Harnesses for Anti-Money Laundering — Nacho Martinez, Oracle
一个工作坊视频。演讲者以“模型是你改不了的部分，外围框架才是能取得实际收益的地方”为主线，讲解完整智能体栈：智能体循环、短期与长期记忆、上下文工程、toolbox 与 skillbox 模式、技能蒸馏和持续学习，并将其应用于一个全天候标记可疑银行交易的自主反洗钱智能体案例。时间轴显示内容还包括代理式系统即自动化加自主性、文件与数据库之别、记忆类型（短期、情景、程序、语义）、上下文摘要与压缩、指令层级、冻结模型如何通过持续学习提升、混合检索（语义加关键词），以及问答中的记忆层简化、预建 SQL 与动态查询等话题。
Why One AI Agent Isn’t Enough (And How to Run 1,000) - CJ Avilla & Harrison Stall, Anthropic
一个 Anthropic 人员主讲的工作坊视频。开场以 Ken Thompson 一个月写出 Unix、IBM 用 1000 名工程师开发 OS/360、Linus Torvalds 在 1998 年遇到瓶颈作类比，引出管理 AI 智能体时的规模问题，随后介绍 Claude Managed Agents 中的 Flows：向 Claude 给出目标，它通过 API 自行规划并运行最多 1000 个智能体的多智能体拓扑。演示包括股票自选股扫描器、在关键阶段投入更多算力的方法、Bug Hunter 与 Explainer Studio 模板，并说明单智能体因惰性、自我偏好偏差和目标漂移而失灵。结尾讨论大规模安全运行：预算、中断、自动模式、凭据保险库和网络锁定。视频含时间轴。
Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。
Teach Your Agent to Prove It's Done — Nick Nisi & Zack Proser, WorkOS
WorkOS 的 Nick Nisi 和 Zack Proser 讲解如何为编码智能体构建验证闭环，让智能体检查自己的工作，内容包括设定可检查的目标、CLI 健康检查、浏览器快照、LLM 评判与评估，使失败能驱动下一轮修复而不是落到人手上。演示使用“Midnight Snack Club”示例应用并附有可跟随的代码仓库。适合开发编码智能体或使用智能体写代码的工程师。
How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI
这是 Laurie Voss（Arize AI 开发者关系负责人、npm 联合创始人）的一场工作坊录像，以一个由 Claude 驱动的金融分析师智能体为例，搭建完整的评估闭环：用 Arize Phoenix 做追踪、阅读追踪记录、编写代码评估和 LLM-as-a-judge 评估、测试评判模型本身是否可信、用实验验证提示词修复效果、从 Claude Haiku 4.5 升级到 5.5，并在 CI 中用 npm test 做门禁。开场用例是智能体写出“116% 分析师同意”这类自信错误。适合构建生产级智能体、关心评估流程的工程师。
The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft
微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景，从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用，以及一个 LangChain v1 旅行智能体。之后转向评估：字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具，以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为，替换并实测才能看出差异。
How Claude Watermarks AI-Generated Text
针对 Anthropic 宣布对 Claude 输出文本加水印后引发讨论的话题，作者录制了一期讲座视频并附文字记录，较详细地讲解其工作方式；原文计划 10 页幻灯片、约 10 分钟，实际扩展为 50 多页、48 分钟，并提供幻灯片与 YouTube 版本链接。
You could have invented transformers from memory
Alex Wang 的一篇博客文章，标题为“你本可以凭记忆发明 Transformer”。所提供的材料只显示标题和页面中的 MathJax 宏定义，看不到正文内容，因此无法判断具体讲了什么。从标题看，内容与 Transformer 架构和联想记忆有关。