讲座精选。
How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut
Revolut AI 运营负责人 David Abitbol 分享 2,000 名工程师的数据：自托管开源 GLM 模型使交付速度提升约 60–70%，成本约为原先支付给前沿实验室的十分之一。内容还包括所需 GPU、维持工程师满意度的延迟目标、同一硬件上提速 88% 的调优方法，以及受欧盟监管的银行如何满足合规要求。适合评估自托管模型方案的技术管理者观看。
How Anthropic Merges 30,000 Code Changes a Day - Manish Kapur, Sonar & Addy Osmani, Anthropic
对话讨论编码代理提交 PR 速度快于人工评审的现状，区分“明”“暗”两类软件工厂，并介绍 Anthropic 如何从每天约 2,500 次合并扩展到约 30,000 次，由 Claude 做首轮审查并附上真实验证证据。还涉及 Sonar《State of Code》调查数据，以及为何流水线每个环节都需要独立、多层的验证，结尾谈及是否给代理写的 PR 打标签及何时可安全合并。适合负责代码评审流程与 CI 体系的工程团队阅读。
Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI
Arize AI 开源负责人 Mikyo King 的演讲，对比传统工具调用型代理与“代码模式”：后者给代理一个沙箱，让它在代码中检索和组合工具，只返回所需结果。内容涉及为何代码模式有效、Phoenix 中如何实现（Bash、Python 沙箱、SQL 乃至 UI 控制）、其隐性成本（密钥、权限、持久性、双重沙箱），以及 Harbor 评测显示 token 减少 43%、成本降低 31%。适合正在设计代理工具调用架构的开发者观看。
How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI
Venice AI 开发者关系首席工程师 Joshua Mo（曾任 Rust AI 框架 Rig 的主要维护者）的演讲，主题是私有模型并不等于私有产品，泄漏发生在围绕模型构建的一整套系统中。他说明了隐私为何重要（一次泄漏就可能流失用户、存储数据越少影响范围越小）以及 Venice 的做法：不存储提示词、对闭源提供商请求做匿名化、在可信执行环境中运行模型、分密钥加密存储。随后展示智能体系统的泄漏点：悄然记录提示词与密钥的日志，以及从密钥库取出后直接进入推理层的凭据，被一次工具调用带出。他给出的模式包括用哈希 ID 替代个人数据、分密钥托管、可撤销句柄、收窄智能体权限、在智能体前加分类器拦截提示注入、把密钥库接到执行层而非 LLM、沙箱加权限监控、带可验证证明的机密计算，并以机密工具调用这一未解问题收尾。适合构建智能体应用并关心凭据与隐私设计的开发者。
Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies
一场工作坊，两位讲者用一次失败优化（投机解码把演示模型从约每秒 58 token 降到 16 token）说明更快的推理配置必须针对实际模型、硬件和工作负载来测量。工作坊从选择托管 API 还是专用 GPU 自建推理讲起，随后在 Kubernetes 命名空间中提供 Jupyter notebook 和 vLLM 端点，以 Qwen 为例考察智能体的提示词、响应和重复工具调用对延迟与内存的消耗；内容涵盖流式测量、模型配置、内存预算、prefill、decode 与 KV 缓存，区分单请求生成速度与总吞吐，比较冷热前缀以及稠密模型与混合专家模型。之后将服务部署改为 FP8 模型重跑负载测试并检查简单输出质量，再进入投机解码，分析接受率、模型兼容性与 GPU 争用后回到基线，最后调整序列长度寻找吞吐趋平而延迟上升的并发点。适合正在做推理部署与性能调优的工程师。
Beyond RAG: Build a Relational Context Engine from Scratch — Peter Werry, Unblocked
这是 Unblocked 的 Peter Werry 的实操工作坊录像，观点是 RAG（即相似度搜索）只覆盖检索的一半。工程上下文分布在 PR、评审评论、工单、wiki 和聊天中，带有作者、日期、状态、标签和关系等结构，全部丢进向量库再重排无法应对带时间或结构条件的提问；另一半是把自然语言转成真正的数据库查询，由模型写查询而非直接作答。工作坊通过六个层叠的 PR，把一个打桩的查询演练场变成可用的引擎：用程序化代码而非模型推断对 300 份文档采样并合并出 schema；用简单模糊匹配做身份解析；查询规划中传入 schema、强制调用名称抽取工具并注入当前日期；默认拒绝的校验，用操作符白名单防止在服务器上执行任意代码，并对隐藏元数据字段做租户隔离；以及把校验和执行错误回传给模型的重试循环。适合正在为代码与工程数据构建检索或上下文引擎的开发者观看。
Latency Is a Budget. Humanlike Is the Goal. — Jesse Hall, LiveKit
这是 LiveKit 资深开发者布道师 Jesse Hall 的演讲，讲如何构建听起来自然的语音智能体。他指出排行榜无法用于选型，因为分数只衡量单个模型而你交付的是从语音识别到 LLM 再到语音合成的整条管线、误差会累积；实测延迟也不等于来电者听到的体验。内容涵盖：在工具调用执行时像人一样“买时间”、一个能处理打断和来电者改变主意的酒店前台演示、LiveKit 基于音频的轮次检测（被打断率 4.5%，最佳替代方案为 9.9%）、端到端 1.5 秒仍可用而约 600 毫秒开始显得像人，以及可对自己的智能体运行的开源基准、LiveKit Inference 上的语音微调 Gemma 模型预览和一份检查清单。适合开发语音智能体的工程师观看。
How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song
这是 MiniMax 强化学习方向研究者 Olive 的演讲，介绍开源权重模型 MiniMax M3：具备前沿级编码与智能体能力、100 万 token 上下文窗口和原生多模态。她讲解 MSA 稀疏注意力设计（prefill 约快 9 倍、解码约快 15 倍）：一个索引分支挑选关键 block，一个稀疏分支只对这些 block 做注意力，并说明 DeepSeek 的 DSA 等既有设计为何不适配分组查询注意力和 GPU 内存访问方式。还包括从训练第一步起同时使用文本与视觉数据、为何后期加视觉会导致结果不稳定、注意力图所显示的内容，以及视觉 transformer 内部的 3D 注意力为何改善视觉理解。适合关注大模型注意力机制、多模态训练与开源模型架构的读者观看。
From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model
这是 Amazon AGI 的 Tarun Sunkaraneni 的演讲，说明多模态训练中最难的部分常不是 GPU，而是持续喂数据。在 S3 中存储图像训练 Qwen3-VL 类模型的基线管线里，约 85% 时间花在等数据上，主要是逐张加载、解码和缩放图像。他逐一处理瓶颈：用 asyncio 和 Ray actor 做并发、预取让数据在训练器请求前就绪、用 Ray 对象存储避免在进程间复制大图像张量；到了生产规模，单机网卡成为新瓶颈，通过把 worker 分散到多节点并使用零拷贝读取，又获得约 50% 吞吐提升。还讨论了 GIL 下 asyncio、线程与进程的取舍，以及某些配置只在规模化时才有收益。适合做多模态数据管线与 Ray 训练的工程师观看。
Small Models, Big Results: Training a Finance Agent for Under $500 — Charles Dickens, Snorkel AI
这是 Snorkel AI 研究科学家 Charles Dickens 的演讲，介绍 Snorkel 与 UC Berkeley Sky Computing Lab 如何用不到 500 美元训练一个 40 亿参数模型，在真实金融问题上超过 2350 亿参数的同类模型。内容包括：基于 SEC 10-K 文件构建并专家校验的 FinQA 金融问答数据集；前沿模型的失败模式，如编造表结构、塞爆自身上下文、重复失败策略；使用开源 rLLM 框架和简单通过/失败奖励做强化学习，使 Qwen3 4B 达到约 60%、对比 235B 的 51%；技能可迁移到更难的多表问题且未损害通用工具使用；以及更简单的训练数据和奖励效果最好、瓶颈在于有纪律的工具使用而非推理深度。适合对用小模型做领域后训练和强化学习感兴趣的读者观看。
Stop Prompting — Greg Pstrucha, Sentry
这是 Sentry 调试智能体 Seer 背后基础设施的开发者 Greg Pstrucha 的演讲，主张不要把反复纠正的内容一遍遍写进提示，而应固化为确定性规则。他说明智能体没有记忆，压缩上下文后同样的错误会再次出现（防御过度的代码、无用的测试、没人需要的接口），而测试、严格类型尤其是 linter 可以把这些纠正变成可自动检查的规则，并给出 Sentry 的实际例子：让接口与 OpenAPI schema 保持同步的 lint 规则，以及维护智能体技能准确性的反复修补。对于无法量化的判断，他使用书面策略和“暴躁工程师”评审循环，并提醒智能体会针对测试覆盖率之类的指标做投机取巧。适合使用 Claude Code 等编码智能体并想减少重复纠错的开发者观看。
Let Anyone at Your Company Ship Internal Apps with AI — Garrett Galow, WorkOS
这是 WorkOS 产品团队的 Garrett Galow 的演讲，讲如何让非工程人员构建并上线内部应用。起因是一位客户经理在休假前做了个销售聊天机器人，但 CEO 连打开都做不到，由此说明构建变便宜后，部署、安全和共享仍依赖工程师。他介绍了两个产物：推送到每台笔记本的一条命令式 CLI（WOW），以及底层平台 Atlas，后者把基础设施隐藏起来、默认让每个应用置于公司 SSO 之后，并使其可被发现。演示中给出的数据是 278 个应用、每周超过 300 万次请求、37% 的常用应用由非工程师在单个 commit 内完成。适合关注企业内部工具平台与 SSO 落地的产品和技术人员观看。