博客精选。
How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase
Coinbase 的 Evan Kormos（有 15 年企业金融服务经验）介绍把智能体引入政策驱动、受监管工作流的实用方法：把流程建模为 DAG 和循环，说明一个循环的可信度取决于它的检查，并展示评估与追踪如何成为新的信心机制。智能体随后经历三个阶段：完全监督、抽样监督、仅由人处理异常。材料按章节列出讲解顺序。
Is the Agent Harness Dead? — Jediah Katz, SpaceXAI
Jediah Katz（SpaceXAI，此前是 Cursor 任职最久的智能体外壳工程师）讨论模型变强对编码智能体、Grokbot 和智能体外壳未来的影响。他论述复杂外壳不再为编码智能带来额外智能，因为数据飞轮让模型学会了外壳原先补上的技能；但同时认为外壳比以往更重要，它开拓 Grokbot 等新领域，并承担模型无法吸收的基础设施、信任与安全、效率问题。结尾给出对 AI 智能体的预测，包括六个月内 90% 的智能体工作将离开笔记本电脑运行。
Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax
演讲以一项真实的行业研究任务为例——分析电路板供应商是否把 AI 需求转化为现金——测试 M3.1 Flash 模型内部的若干改动：长输入稀疏注意力、4 位 KV 缓存、低精度专家、投机解码、服务器负载与推理预算。讲者说明每项改动都节省算力，也可能悄悄牺牲准确率或等待时间，并给出评估模型切换的方法：核对来源与计算、统计一份可用报告的全部成本、让结果可复现。
Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis
演讲把算力视为大宗商品市场，指出购买 GPU 只是获得潜力，实际可用产出取决于运营方：在同样的 B200 芯片上，仅服务栈一项就能带来约 50% 的产出差异。内容还包括集群安全如何影响“智能”是否有用、SemiAnalysis 的 ClusterMAX 如何给运营方评级、租用价格与生产成本的区别、成本位置取决于竞争对手，以及构建可比算力评级与算力期货所需的条件。
A Bank Built Its Own Coding Agent. It Took Off — Felippe Felisola Caso & Francesco Galletta, Monzo
演讲介绍 Monzo 自研的编码代理，它最初只是 Slack 里一个可添加表情的机器人，如今撰写 Monzo 各技术团队合并 PR 的 10% 以上，每天运行 1800 多个任务。讲者解释它为何见效快，包括接入内部工具与知识的 MCP 网关、为受监管银行构建的沙箱化代理编排系统，以及把代理本身变成可复用构建块，并说明该构建块现在也处理事故、值班数据质量和非工程人员的请求。
Shipping AI Into 5 Major Banks Without a 12-Month Compliance Wait — Al Chen, Cisco
这是一场技术演讲，讲者来自 Cisco，介绍在五家大型银行内部署 AI 软件的过程，重点是如何避免长达一年的合规瓶颈。内容涵盖构建流水线、用代理编写并测试漏洞利用来修复 CVE、备份与恢复验证、LLM 评审器导致的 PII 泄露，以及为何零泄露和数据主权从来不是免费的。适合关注金融行业 AI 部署与合规安全的工程人员观看。
Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish
这是一段演讲录像，Jellyfish 的 AI 与研究负责人 Nicholas Arcolano 用 447 家公司约 5 万名工程师的数据，分析模型本身对 AI 编程产出有多大影响。当 Cursor 把大量用户切换到 Grok 时，合并 PR 数量几乎没变；他给出的贡献拆分是：工具不足 1%、技能使用约 3%（重度使用者约提升 30%）、token 用量约 9%、公司与团队约 12%，其余大部分由工程师个人决定。他还讨论了 AI 之前的高绩效者是否仍居前列，并对管理者提出关注人、技能和环境等可控因素的建议。
1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah
这是一段会议演讲录像，讲者分析了公共 AI 事故数据库中的 1368 起事件，考察真实失败能为 AI 系统测试方式提供什么启示。他们把失败归入技术能力、部署管控和业务影响三个维度及 13 个子类别（覆盖约 98% 的事故），指出人工复核、监控等部署管控薄弱与危害关联最紧密，并介绍了按风险大小排序用例、检验评估器本身、以及用“构建—攻破—修复”循环主动找系统错误的方法，最后以一家航空公司聊天机器人给出错误退款政策为例。材料未说明适合谁读。
How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
演讲者带领 Air Canada 的 AI 代理团队，面对任务过于具体、没有公开基准且领域专家无暇评分的问题，他的做法是“先写答案”：从已知答案出发生成输入，再看代理能否找回该答案。这使一个 RAG 项目从每周一次专家评分测试提升到每天数十次自动化测试；随后他把方法用于供应商合同审查代理，给出五种构建测试集的方式：过往决策、植入规则违规、删除条款、不应产生影响的变化，以及填空式合同模板。他还解释了为何在代码能校验答案时避免使用 LLM 评审。
Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI
演讲者拆解 AI 写作给人“垃圾感”的原因：用词过度、泛泛而谈、言之无物、重复、幻觉，以及听起来像所有人混合的声音。随后介绍团队如何构建一个基准，衡量模型能否用他本人的风格写视频脚本：10 个脚本、每个模型 5 稿、4 个 LLM 评审、九项评分指标和 1000 次人工 A/B 对比。他还分享了成本、评审模型为何偏向自家模型家族，以及用 AI 写作的实用方法，包括填满示例的超长提示、由强模型做一轮审校、合并多份廉价草稿，以及始终保留人工编辑。
Does Code Quality Still Matter? It Depends on This — Max Kanat-Alexander, Capital One
演讲针对资深工程师常说的“视情况而定”，指出代码质量始终服务于两件事：理解系统和安全地修改系统。讲者提出 AI 正在让一种新软件变得常见——一次性软件，后果低、依赖少、替换和维护成本接近零，对这类软件质量不重要，而对持久软件质量比以往更重要。他还说明如何让系统更易被弃用，以及如何通过标准、工作流内工具、易于测试和最大严格度来降低严谨的成本。
One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO
演讲指出在 GEICO 编码变快了，但决策、签字确认、上下文等周边环节仍很慢，解决办法是多人协作、AI 原生的“作战室”：合适的决策者、一名主导者和接入 GEICO 知识、工具与代码的代理集群。演讲者押注一天时间加 1000 美元 token 端到端梳理一个遗留理赔领域并交付一项真实改动，并在租赁、损害和残值三个场景各跑了一次。内容还涉及用于指挥代理集群的 markdown 规则手册 FleetKit、产出的工作表与图表，以及后续改进方向。