讲座精选。
Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI
这场演讲展示一个金融智能体出现编造答案、重复调用工具、生成被自身评估判为错误的总结等失败，讲者 Ankur Duggal 通过 Arize 的命令行工具和技能把这些问题交给编码智能体处理，让它调查调用链、修改应用并运行实验。演示从投资问题出发，用 trace 揭示底层的主管、专家智能体、模型调用和工具，发现数值依据、编造回答、冗余搜索等问题，并用数据集、评估器和实验技能验证修复方案。问答涉及本地实验执行、评判模型、评估成本、采样，以及编码智能体把精力花在 lint 上的风险。
Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI
Weco AI 的工作坊把“提出改动—评估—保留更好结果”的研究循环做成可动手的实验，用 Mini Parameter Golf 让训练实验小到可以边跑边检查。Zhengyao Jiang 介绍自动研究作为反复提出与评估的过程，Dixing Xu 讲解团队的 Aiden 系统及其在 OpenAI Parameter Golf 挑战中的工作，另两位讲者则演示由可修改源文件、固定评估命令和可度量目标组成的实用配置。内容涉及评估要快且稳定、指标方向明确、时间限制、初始引导和防止奖励作弊，并展示实验树、分支和转向正在运行的搜索。最后用一个 Flappy Bird 控制器任务替换模型训练，配有隐藏验证集和编辑权限限制。
Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI
Druid AI 团队以两个 AI 实习生的例子说明：单看遏制率（containment rate，智能体独立处理的对话比例）会选出错误的智能体——处理 96% 对话的那个未必更好，因为另一个更常转人工的实习生把即将再融资的客户交给了资深银行家。他们介绍与客户共建的绩效评估框架：七个支柱分为智能体的配置与运行时表现两类，治理贯穿两者；26 个组成部分各按 0、1、2 打分（缺失、已定义、真正受治理并持续追踪）并按业务影响加权，其中治理与授权权重最高。内容还涉及容错、风险、合规、可观测性、漂移、幻觉、语气、授权范围与预算、结果验证，以及一个全年显示绿色但真实分数从 83% 降到 60% 的面板、ROI 问题和不同行业的遏制率目标。
Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI — Fireworks AI
Fireworks AI 应用机器学习团队负责人 Jetashree Ravi 讲解团队如何从闭源模型迁移到开源模型而不损失质量，提出三点：GLM 5.2 等开源模型已可用于生产、定制化能弥补剩余质量差距、AI 技术栈正转向持续训练与服务的循环。她给出公司规模（约 30 万亿 token、1 万多家公司）和客户结果，包括 Cursor 的 Composer 2、Vercel 的延迟改善、Genspark 经强化微调后的质量提升，并介绍 FireAttention 引擎及自定义 CUDA 内核、使用自定义草稿模型的投机解码、三种训练方式（训练智能体、托管训练、支持 SFT、RFT、DPO 的训练 API），以及一键部署、监控、无停机热加载新权重和训练与服务数值一致性。结尾演示训练智能体和托管训练。
How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs
Cerebras 的 Daniel Kim 与 Gimlet Labs 联合创始人 Michelle 讲解推理为何持续变快变便宜。Daniel 讲运行时层面：解码为何受内存限制、把模型拆分到多块 GPU、连续批处理、KV cache、分页注意力、提示缓存和分块预填充；Michelle 讲系统层面：预填充/解码解耦、投机解码、注意力/FFN 解耦、Gimlet 的多芯片云，以及用 Agent 生成优化内核。视频以 Google 月 token 量从 480 万亿增至 3.2 千万亿为背景展开。
1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code — Kevin Orellana, AWS
Amazon Bedrock AgentCore 工程师 Kevin Orellana 把 AgentCore 的代码沙箱和云浏览器封装成 MCP 服务器，让编码 Agent 在 10 个领域编写并运行 1,000 个测试，结果记录在 SQLite 中。他介绍测试发现的各类失败，如图像编码错误、空字节、文件不可读、浏览器内存耗尽，并把界面层缺陷与沙箱层限制（内存、文件权限、seccomp、eBPF）区分开，讨论沙箱限制如何决定 Agent 能否完成任务。
Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4) — Anthropic
Anthropic 负责 Claude Managed Agents 工程团队的 Priyanka Phatak 把 Agent 定义为循环中的模型加工具、再加 harness 和沙箱，并解释 harness 中固化的假设会随新模型而过时。她回顾最初会话、harness 与沙箱共处一个难以调试的“宠物”容器的架构，以及重构为仅追加的会话日志、大脑（harness 加 Claude）和手（沙箱与工具）的设计；凭证不进入沙箱，首个 token 时间下降约 90%。最后用简单示例介绍核心 API。
Your GPU Neighbor Can Hear Your Model — Branislav Brzak, Stealthium
演讲展示 H100 上的时序侧信道实验：仅探测攻击者自己的内存，不读取受害者内存、不利用软件漏洞，用约三微秒的额外延迟信号推断另一租户 GPU 分片的模型深度、解码速度，以及代码、散文、JSON、检索等工作负载类别。讲者明确区分此类推断与恢复实际提示词或回答内容。内容还涉及从重复内存读取到频率分析、token 速率与层签名的追踪过程，跨 NVSwitch/NVLink 的较弱信号，以及租户放置、隔离取舍和 GPU 上探测负载观测等运维选择。
Your Agent Is a Lethal Trifecta (And What to Do About It) — Kim Maida, Keycard
演讲通过一场编排的故障处置演示说明：当智能体同时拿到长期有效的 API 密钥和管理员数据库凭据时，可能误删账单数据库、重启生产服务器、把服务从 4 个 Pod 扩到 40 个。讲者指出私有数据、不可信工单与外部服务访问权限三者叠加构成“致命三重奏”，仅靠人工审批按钮无法判断用户是否有权批准某操作。随后介绍基于 OAuth 令牌交换的委托授权、在安全令牌服务中评估策略并签发短期限定凭据，以及 Keycard 基于意图的授权方案（讲者称其为提案而非定稿标准）和基于任务策略的第二个演示。
Judge a Transaction by the Company It Keeps — Somya Rai & MD Sharique, EXL
这是一个 YouTube 演讲，介绍 EXL 的欺诈检测系统：在现有 XGBoost 分类器基础上加入图嵌入，目标是固定的分析师告警预算下提升精确度。演讲者讲解了邻域信号、采样与图构建、GraphSAGE 的聚合方式（均值、最大值与标准差）、归因解释和在线服务设计（缓存表征使缓存占用从约 60 GB 降至 2–3 GB），并报告在相同告警率下检测效果相对提升 27%–33%。
I Believe Everything My Agents Tell Me: Three Levels of Review — Corey Gallon, Rexmore
演讲视频中，Corey Gallon 以一个案例开场：起草智能体自检通过的需求函，被两个独立审查智能体发现所谓已到期的合同其实在不到三周前刚续约。他据此介绍针对智能体夸大已完成工作、误读事实或得出错误结论的三层审查方法，并称分析自己 2026 年的会话样本发现约四成存在重大错误（强调这是其样本情况，非通用错误率）。三层分别为：要求带指纹的已验证产物、独立智能体按控制总量提取并逐项核对差异、结合自审与冷审查智能体的复审；他同时报告了时间与 token 成本，并将方法以 agent skills 形式发布。
Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI
一个会议演讲视频。演讲者以一条把贷款金额的正负号去掉、将净 784,000 美元变成 530 万美元债务、且多个模型给出相同错误结果的流水线为例，说明数据转换不能只靠通用模式或自信的智能体，因为“客户”对计费、支持、合规部门含义不同。他提出的替代方案是“即时本体”：在问题明确时构建转换，并保留其上下文与证据以便复用。工作示例是俄亥俄州竞选财务实体消解项目，涉及区分设计流水线的模型、执行单项任务的模型和优化系统的模型，以及定义、留出案例、分歧检查、稳定执行面、预算上限和失败方式界定等做法。