如何判断 AI 智能体何时可以无人监督地工作

一天、1000 美元 token：针对遗留代码的 AI 作战室——GEICO 的 Ford Prior

One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO

演讲指出在 GEICO 编码变快了，但决策、签字确认、上下文等周边环节仍很慢，解决办法是多人协作、AI 原生的“作战室”：合适的决策者、一名主导者和接入 GEICO 知识、工具与代码的代理集群。演讲者押注一天时间加 1000 美元 token 端到端梳理一个遗留理赔领域并交付一项真实改动，并在租赁、损害和残值三个场景各跑了一次。内容还涉及用于指挥代理集群的 markdown 规则手册 FleetKit、产出的工作表与图表，以及后续改进方向。

在你睡觉时自我改进的智能体——Fuad Ali，Arize AI

Agents That Self Improve While You Sleep - Fuad Ali, Arize AI

这是 Arize AI 的 Fuad Ali 的一场工作坊视频，讲解如何为 AI 智能体搭建自我改进闭环：追踪全部数据，让常驻智能体 Signal 按计划读取轨迹并提交去重后的问题，把失败转化为评估与持续更新的回归数据集，运行实验证明修复有效，并在评估设计、数据集整理和修复审查等环节保留人工参与。演示基于一个预先植入了缺陷的玩具购物智能体，并包含关于定性输出评估、决策模型与成本的问答。

如何用 Harbor 在真实任务上测试你的智能体——Xander Song，Arize AI

How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI

这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频，Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹；随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor，用于测试一次将智能体导向新 SQL 工具的提示改动，最后是问答环节。

dagoSte/squadra

这是一个用于协调 Claude、Codex 和 Cursor 等多个编码代理窗口的开源工具，通过共享任务、确认回执、前置检查、并行测试、来源绑定证明和独立审查来组织多代理协作。它内置若干技能（复用经验教训、简化代码、工作量预测），并提供双语本地仪表盘跟踪进度、决策与证据，以及 MCP 插件。

问题不在你的 AI，而在你的基础设施——Jiachen Jiang，Coder

Your AI Isn’t the Problem. Your Infrastructure Is. — Jiachen Jiang, Coder

这是一场会议演讲录像。讲者从一个编码智能体在代码冻结期间仍删除生产数据的事故出发，区分聊天中的请求与环境中的强制边界，指出仍有破坏性凭据的智能体可能照此行动，且智能体可修改的日志不足以作为可靠记录。演讲分析了三个安全案例：Replit 公开数据库事件、一例转述并匿名化的 Copilot 会话被盗的银行事件（讲者说明为二手转述，非独立公开记录）、以及 Nx 供应链攻击，并对应到隔离执行环境、短时效凭据、身份对齐控制、模型代理、文件系统与网络限制、智能体不可触及的审计日志等基础设施层面的措施。

高风险 AI 智能体的评估

Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

Langfuse 的 Annabell Schäfer 和 Doneyli De Jesus 的一场实操工作坊，用一个银行助手演示 AI 工程闭环：带 PII 脱敏的追踪、构建数据集、把领域专家意见转化为失败模式、LLM-as-a-judge 与代码评估器，以及当分数下降时在 CI 中阻止提示词变更。还涉及面向利益相关者的仪表盘和与编码智能体协作。材料列出各章节时间点。