讲座精选。
Grep or Embeddings? Agentic Search Over Company Documents — George He, LlamaIndex
这是 LlamaIndex 工程负责人 George He 的演讲，讨论智能体检索该用预建索引还是纯文件遍历。他解释了 Claude Code 跳过向量嵌入的原因是代码体量小、纯文本、本地且线索丰富，而企业数据庞大、杂乱、多模态且有权限控制；并展示如何给智能体一套工具组合：先用混合检索做定位，再用列举、元数据过滤、grep 和读取深入，复杂文档辅以解析文本和页面截图。还涉及 LlamaParse 与开源 LiteParse 的解析、生产环境中的多租户、权限与数据新鲜度，以及 ingest-parse-index 流程，并演示了从 135 份 Alphabet 财报构建现金流表的智能体。适合在构建企业文档检索或 RAG 系统的开发者观看。
Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai
这是 Akamai 开发者布道师 Sheilah Kirui 的演讲录像，讲解投机解码（speculative decoding）的原理与适用条件。内容包括推理的 prefill 与 decode 阶段、小模型提议 token 而目标模型在一次前向中验证的机制、托管第二个模型及其 KV cache 的内存成本、草稿模型的选取标准，以及在单块 NVIDIA Blackwell GPU 上用 vLLM 做的并排演示：结构化输出在高接受率下快 1.6 倍，创意写作的接受率则低得多，并说明长上下文与高并发负载收益较少的原因。适合正在用 vLLM 部署推理、考虑是否开启投机解码的工程人员观看。
How AI Agents Pay: Checkout in ChatGPT and Google AI Mode — Sam Parsons, PayPal
PayPal 企业支付（原 Braintree）高级主任工程师 Sam Parsons 的演讲，介绍商家接受 AI agent 发起支付的三条路径：ChatGPT 中基于 Agentic Commerce Protocol 与商家自建 MCP app 的 Instant Checkout；Google AI Mode 中基于 Universal Commerce Protocol 与 Google Pay、商家只需提供端点的方案；以及带外部结账页的 MCP app 方案，可保留完整控制权。他现场演示各流程，说明 tokenization 如何让卡号不进入 agent 与商家的 PCI 范围、集成点位置，以及 token 如何按商家、金额、币种和有效期受限，并比较在 agent 内结账与外部结账交接的取舍。适合做电商支付集成、关注 agent 商业化的开发者观看。
How Many Credentials Should Your AI Agent Have? Zero. — Jim Clark, Docker
一场关于 agent 安全的演讲，演讲者为 Docker 首席软件工程师 Jim Clark，以 MCP 网关为切入点。他提出 harness 只是简单循环，安全性取决于流入其中的上下文与工具，因此要管理的边界是沙箱；通过把新闻编辑流程拆分为研究员、事实核查、发布者三个沙箱，以及只在提交代码时才拿到签名密钥的编码 agent 两个例子，说明如何按任务意图设计沙箱、每个沙箱配一个 MCP 网关端点作为控制点，并主张沙箱内正确的凭据数量是零，同时介绍用 Okta 的 Cross App Access（XAA）让 agent 复用现有 SSO。适合构建 agent 系统并关心权限与沙箱隔离的工程师观看。
What Is an Inference Engine, Anyway? — Charles Frye, Modal
一场讲解推理引擎（inference engine）的技术演讲，演讲者为 Modal 的 Charles Frye。他从一个博物馆展牌生成器流量激增导致首 token 等待变长、后续 token 变慢的现象出发，借助推理监控面板说明增加副本如何缓解排队，并沿服务器 IO、分词、调度、模型执行、反分词追踪一次请求，以 SGLang 和 vLLM 为参照。内容还涉及调度器成为瓶颈、不同应用（聊天机器人、后台 agent、文档处理）的延迟与长度需求，以及 KV 缓存、CUDA graphs、投机解码、kernel 库等性能技术，最后谈到生产环境的正确性验证与调试。适合从事 LLM 推理部署与服务优化的人观看。
Your LLM Judge Is a Confident Liar: Building Better Verifiers — Browserbase
一场技术演讲，演讲者为 Browserbase agent 平台技术负责人 Miguel González Fernández 与微软研究院研究员 Corby Rosset，介绍面向计算机使用与网页 agent 的验证器研究。内容指出常见网页基准自带的 LLM judge 会高估成功率（官方 judge 报 74%，更好的验证器报 38%），并讲解 Universal Verifier 的做法：任务专属评分细则、挑选最相关截图作为证据、隔离错误、识别幻觉、区分可控与不可控失败，将误报从约一半降到接近零，并用 Cohen's kappa 与人工标注对照验证。还讨论了用 autoresearch 自动构建验证器的效果。适合做 agent 评测与基准研究的人观看。
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
这是 Arize AI 工程师 Xander Song 介绍 Harbor 的演讲视频，Harbor 是一个在隔离沙箱中用真实数据评估智能体在真实任务上表现的开源框架。内容涵盖任务、Docker 环境、验证器与奖励、试验与作业、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹；随后演示团队如何在 Daytona 与 Phoenix 上大规模运行 Harbor，用于测试一次将智能体导向新 SQL 工具的提示改动，最后是问答环节。
How to Build an AI Code Review Agent - Daksh Gupta, Greptile
这是 Greptile 联合创始人 Daksh Gupta 的演讲，介绍该公司对想要自建代码审查智能体的公司的建议。他从沙箱加 webhook 的简单方案讲起，说明该方案会漏掉缺陷、每个 PR 花费 3 至 25 美元并产生大量细枝末节的挑刺，随后逐项介绍改进方法：更聚焦的提示词、历史事故 PR 数据集、模型反转（用 GPT 审查 Claude 写的代码反之亦然，可多发现约 10% 的缺陷）、代码库上下文与持续更新的 wiki、在沙箱中借助 computer use 自主测试，以及把多数子任务交给更便宜的模型。视频带有章节时间戳。
Continuously Improving Agents with Langfuse — Annabell Schäfer & Lotte Verheyden, ClickHouse
这是一场工作坊，讲者 Lotte Verheyden 和 Annabell Schäfer 以示例 IT 支持代理 Specs 展示如何用 Langfuse 把生产中的用户挫败反馈转化为可用的信号。演示把基于 OpenAI Agents SDK 的 TypeScript 应用接入 Langfuse，并添加三类评估器：针对用户不认同的 judge 评估器、针对全大写输入的代码评估器，以及比较用户请求与系统提示的范围检查，各评估器通过显式变量映射定位相关消息。随后用预置的生产轨迹让编码代理通过 Langfuse CLI 与 skill 分析不必要工具调用、重试、延迟和评估覆盖不足等问题，并提出代码改动；结尾把在线监控放入持续改进循环：将观察到的失败转为代表性数据集、离线实验、检查回归并随真实使用变化重复。
Build a Platform and Watch It Burn — Michael Forrester, Accenture & Whitney Lee, Datadog
这是一场工作坊，讲者用一个卷饼点单助手演示代理权限过大的风险：该助手部署了外部容器镜像，并从 Kubernetes 环境中暴露出一份秘密配方，观众被邀请突破点单范围进行攻击，再在加入基础设施与 AI 护栏后重复这些攻击。工作坊分三种配置：第一种完全不设防；第二种加入基础设施控制，如用 Kyverno 规则限制镜像来源和部署要求，但预期的运行时防护并未稳定阻止配方被读取；第三种可开关 LLM Guard 的输入输出过滤，对比暴露敏感内容的回应、被脱敏的回应和在模型处理前被拦截的请求。此外，一个天气工具的描述要求代理在执行正常任务时读取内部配置，OpenTelemetry 追踪可在 Datadog 中查看提示、工具调用和结果。
From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases
这是一场演讲，讲者 Wolfram Ravenwolf 以“代理修复损坏的 git 仓库并得满分、但因只测了一个任务而未进入默认排行榜”为例，介绍一套每个分数都能追溯到其条件的评估流程。WolfBench 会比较平均、最好与最差运行、至少成功一次的任务和每次都成功的任务，并说明配置包含基准、运行器、沙箱、代理、模型服务和设置六层，版本、供应商路由、系统提示、资源限制与超时都会影响结果实际衡量的内容。现场流程通过 Harbor 启动 Terminal Bench 任务，收集结果，在 Marimo 仪表盘过滤不完整运行并生成交互式排行榜，Weave 保留轨迹供审查命令、消息与失败，讲者还讨论了更便宜模型耗 token 抬高总成本、更高推理投入反而降分、基础设施故障与真实任务失败的区分等问题。
SonarQube + OpenAI: Agentic Development — Killian Carlsen-Phelan, Sonar
一个会议工作坊视频。演讲者用一个预埋硬编码 API 密钥、SQL 注入路径等问题的 Python 小项目演示流程：用 SonarQube 扫描并把结果带入 Codex，让智能体修复存在漏洞的查询（把字符串拼接改为参数化查询），再通过验证钩子重新检查被修改的代码，把安全反馈放进编码循环。现场搭建了 SonarQube Cloud、其 CLI、插件和 MCP 服务器，展示秘密检测钩子拦截提示词中的伪造凭据、问题列表技能为智能体提供证据、上下文增强在生成前提供编码指引，以及智能体式分析实时检查改动。问答涉及钩子如何被绕过、哪些步骤在本地或容器中运行、哪些功能依赖组织权限。