全部资源

讲座精选。

23 条精选
讲座发布 11-01
Latent Space

代理提示人:用代理处理长周期金融工作

Agents Prompt People: Using Agents for Long-Horizon Financial Work

Latent Space 在 AI Engineer New York 期间对财富管理公司 Arca 首席 AI 工程师 Aman Singh 的访谈。文中称代理承担公司大部分后台工作,但由人类顾问做最终决策,即“代理提示人多于人提示代理”;代理任务可能持续长达十天,过程断续且涉及多方交接,因此 Arca 建了按客户持久保存的内部记忆系统,用于跟踪已发生事项、近期待办与长期跟进。模型主要使用 Anthropic 的 Claude,并自建了 harness。适合关注代理在受监管金融业务中落地方式的人阅读。

讲座发布 10-29
YouTube

Revolut 如何用自托管开源模型将 AI 编码成本削减 90%——David Abitbol,Revolut

How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

Revolut AI 运营负责人 David Abitbol 分享 2,000 名工程师的数据:自托管开源 GLM 模型使交付速度提升约 60–70%,成本约为原先支付给前沿实验室的十分之一。内容还包括所需 GPU、维持工程师满意度的延迟目标、同一硬件上提速 88% 的调优方法,以及受欧盟监管的银行如何满足合规要求。适合评估自托管模型方案的技术管理者观看。

讲座发布 10-29
YouTube

Anthropic 如何每天合并 3 万次代码变更——Manish Kapur(Sonar)与 Addy Osmani(Anthropic)

How Anthropic Merges 30,000 Code Changes a Day - Manish Kapur, Sonar & Addy Osmani, Anthropic

对话讨论编码代理提交 PR 速度快于人工评审的现状,区分“明”“暗”两类软件工厂,并介绍 Anthropic 如何从每天约 2,500 次合并扩展到约 30,000 次,由 Claude 做首轮审查并附上真实验证证据。还涉及 Sonar《State of Code》调查数据,以及为何流水线每个环节都需要独立、多层的验证,结尾谈及是否给代理写的 PR 打标签及何时可安全合并。适合负责代码评审流程与 CI 体系的工程团队阅读。

讲座发布 10-28
YouTube

别再给代理工具了,给它一个沙箱——Mikyo King,Arize AI

Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI

Arize AI 开源负责人 Mikyo King 的演讲,对比传统工具调用型代理与“代码模式”:后者给代理一个沙箱,让它在代码中检索和组合工具,只返回所需结果。内容涉及为何代码模式有效、Phoenix 中如何实现(Bash、Python 沙箱、SQL 乃至 UI 控制)、其隐性成本(密钥、权限、持久性、双重沙箱),以及 Harbor 评测显示 token 减少 43%、成本降低 31%。适合正在设计代理工具调用架构的开发者观看。

讲座发布 10-15
Latent Space

算力速度下的实验闭环——Ian Quigley,Leash Bio

Lab-in-the-Loop at Compute Speed — Ian Quigley, Leash Bio

Latent Space 对 Leash Bio 的 Ian Quigley 的访谈,介绍该公司在 DNA 编码化合物库(DEL)上获取高通量、可复现的蛋白质—小分子相互作用数据的方法。节目中还提到其推出的 Minos:把多年积累的数据转化为数万个“lab-in-the-loop”模拟,供代理做可验证的科学推理强化学习。适合从事化学与 AI 结合研究的人阅读。

讲座发布 10-14
Latent Space

Dyna-2:具备小时级自主性的通用物理代理——Jason Ma,Dyna Robotics

Dyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics

Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 的访谈,介绍在超过一百万小时人类视频上预训练的 world-action 模型 Dyna-2,及后续的物理机器人代理 Dyna-2.1。文中提到其在餐厅叠餐巾任务上连续 24 小时达到 99.4% 成功率,机器人仅需约 45 分钟演示即可学习新任务。内容还涉及预判物理世界未来对通用机器人的作用以及面向真实客户的可靠部署。适合对具身智能和机器人学习感兴趣的人阅读。

讲座发布 10-12
YouTube

机密信息如何通过 AI 智能体泄漏(以及如何阻止)——Venice AI

How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI

Venice AI 开发者关系首席工程师 Joshua Mo(曾任 Rust AI 框架 Rig 的主要维护者)的演讲,主题是私有模型并不等于私有产品,泄漏发生在围绕模型构建的一整套系统中。他说明了隐私为何重要(一次泄漏就可能流失用户、存储数据越少影响范围越小)以及 Venice 的做法:不存储提示词、对闭源提供商请求做匿名化、在可信执行环境中运行模型、分密钥加密存储。随后展示智能体系统的泄漏点:悄然记录提示词与密钥的日志,以及从密钥库取出后直接进入推理层的凭据,被一次工具调用带出。他给出的模式包括用哈希 ID 替代个人数据、分密钥托管、可撤销句柄、收窄智能体权限、在智能体前加分类器拦截提示注入、把密钥库接到执行层而非 LLM、沙箱加权限监控、带可验证证明的机密计算,并以机密工具调用这一未解问题收尾。适合构建智能体应用并关心凭据与隐私设计的开发者。

讲座发布 10-11
YouTube

拥有自己推理的智能体——Du'an Lightfoot 与 Khaja Omer,Akamai Technologies

Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies

一场工作坊,两位讲者用一次失败优化(投机解码把演示模型从约每秒 58 token 降到 16 token)说明更快的推理配置必须针对实际模型、硬件和工作负载来测量。工作坊从选择托管 API 还是专用 GPU 自建推理讲起,随后在 Kubernetes 命名空间中提供 Jupyter notebook 和 vLLM 端点,以 Qwen 为例考察智能体的提示词、响应和重复工具调用对延迟与内存的消耗;内容涵盖流式测量、模型配置、内存预算、prefill、decode 与 KV 缓存,区分单请求生成速度与总吞吐,比较冷热前缀以及稠密模型与混合专家模型。之后将服务部署改为 FP8 模型重跑负载测试并检查简单输出质量,再进入投机解码,分析接受率、模型兼容性与 GPU 争用后回到基线,最后调整序列长度寻找吞吐趋平而延迟上升的并发点。适合正在做推理部署与性能调优的工程师。

讲座发布 10-11
YouTube

超越 RAG:从零构建关系型上下文引擎 — Peter Werry,Unblocked

Beyond RAG: Build a Relational Context Engine from Scratch — Peter Werry, Unblocked

这是 Unblocked 的 Peter Werry 的实操工作坊录像,观点是 RAG(即相似度搜索)只覆盖检索的一半。工程上下文分布在 PR、评审评论、工单、wiki 和聊天中,带有作者、日期、状态、标签和关系等结构,全部丢进向量库再重排无法应对带时间或结构条件的提问;另一半是把自然语言转成真正的数据库查询,由模型写查询而非直接作答。工作坊通过六个层叠的 PR,把一个打桩的查询演练场变成可用的引擎:用程序化代码而非模型推断对 300 份文档采样并合并出 schema;用简单模糊匹配做身份解析;查询规划中传入 schema、强制调用名称抽取工具并注入当前日期;默认拒绝的校验,用操作符白名单防止在服务器上执行任意代码,并对隐藏元数据字段做租户隔离;以及把校验和执行错误回传给模型的重试循环。适合正在为代码与工程数据构建检索或上下文引擎的开发者观看。

讲座发布 10-11
YouTube

延迟是预算,像人才是目标 — Jesse Hall,LiveKit

Latency Is a Budget. Humanlike Is the Goal. — Jesse Hall, LiveKit

这是 LiveKit 资深开发者布道师 Jesse Hall 的演讲,讲如何构建听起来自然的语音智能体。他指出排行榜无法用于选型,因为分数只衡量单个模型而你交付的是从语音识别到 LLM 再到语音合成的整条管线、误差会累积;实测延迟也不等于来电者听到的体验。内容涵盖:在工具调用执行时像人一样“买时间”、一个能处理打断和来电者改变主意的酒店前台演示、LiveKit 基于音频的轮次检测(被打断率 4.5%,最佳替代方案为 9.9%)、端到端 1.5 秒仍可用而约 600 毫秒开始显得像人,以及可对自己的智能体运行的开源基准、LiveKit Inference 上的语音微调 Gemma 模型预览和一份检查清单。适合开发语音智能体的工程师观看。

讲座发布 10-11
YouTube

MiniMax M3 是如何构建的:稀疏注意力与原生多模态 — Olive Song

How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

这是 MiniMax 强化学习方向研究者 Olive 的演讲,介绍开源权重模型 MiniMax M3:具备前沿级编码与智能体能力、100 万 token 上下文窗口和原生多模态。她讲解 MSA 稀疏注意力设计(prefill 约快 9 倍、解码约快 15 倍):一个索引分支挑选关键 block,一个稀疏分支只对这些 block 做注意力,并说明 DeepSeek 的 DSA 等既有设计为何不适配分组查询注意力和 GPU 内存访问方式。还包括从训练第一步起同时使用文本与视觉数据、为何后期加视觉会导致结果不稳定、注意力图所显示的内容,以及视觉 transformer 内部的 3D 注意力为何改善视觉理解。适合关注大模型注意力机制、多模态训练与开源模型架构的读者观看。

讲座发布 10-10
YouTube

GPU 利用率从 15% 到 90%:修数据管线,而不是修模型

From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

这是 Amazon AGI 的 Tarun Sunkaraneni 的演讲,说明多模态训练中最难的部分常不是 GPU,而是持续喂数据。在 S3 中存储图像训练 Qwen3-VL 类模型的基线管线里,约 85% 时间花在等数据上,主要是逐张加载、解码和缩放图像。他逐一处理瓶颈:用 asyncio 和 Ray actor 做并发、预取让数据在训练器请求前就绪、用 Ray 对象存储避免在进程间复制大图像张量;到了生产规模,单机网卡成为新瓶颈,通过把 worker 分散到多节点并使用零拷贝读取,又获得约 50% 吞吐提升。还讨论了 GIL 下 asyncio、线程与进程的取舍,以及某些配置只在规模化时才有收益。适合做多模态数据管线与 Ray 训练的工程师观看。