机器人的终局：英伟达 Jim Fan 宣告 VLA 时代结束，WAM 登场

中文精读

原文约 2,757 词 · 11 节

1. 开场：英伟达 Jim Fan 宣告范式更替

   • Jim Fan 是英伟达机器人与 AI 研究组（GEAR Lab）负责人，此前主推的 GR00T 人形机器人基础模型基于 VLA（Vision-Language-Action，视觉-语言-动作）架构。
   • 他在 Sequoia AI Ascent 2026 的 20 分钟演讲《Robotics' End Game》中宣布 VLA 路线过时，包括他自己半年前还在推的 GR00T。
   • 新范式称为世界动作模型（WAM），代表作是英伟达 2 月发布的 DreamZero；核心思路叫“底层同构”。
   • 具体做法是复制 LLM 的预训练→对齐→强化学习三步，用视频世界模型替代语言模型，用人类第一人称视频替代遥操作数据。
   • 他预测 2040 年前机器人能自己设计和制造下一代自己，对此有 95% 的把握。演讲发布于 2026 年 4 月 30 日。

2. 要点速览

   • VLA 路线落幕，新范式 WAM 的代表作 DreamZero 为 140 亿参数模型。
   • 遥操作数据因物理上限低，预计一两年内降到接近 0，由传感化人类数据取代。
   • EgoScale 用 21,000 小时人类第一人称视频预训练，团队发现灵巧操作的神经缩放定律，R² 达 0.998。
   • Dream Dojo 用 44,000 小时人类视频训练出完全绕过物理引擎的神经仿真器。
   • 终局时间定在 2040 年，目标是物理自动研究，置信度 95%。

3. 从 DGX-1 签名到“底层同构”

   • 2016 年夏天在 OpenAI 当时办公室，黄仁勋送来全球第一台 DGX-1，托盘上写着“致 Elon 和 OpenAI 团队，致计算和人类的未来”。
   • Jim 当时是 OpenAI 的第一个实习生，排队签了名，Andrej Karpathy 也签了；他说当时完全不知道在签什么，这台机器现藏于 Computer History Museum。
   • 他引 Ilya 的“你信深度学习，深度学习就信你”，指出 LLM 用三次阶跃、六年走到今天：GPT-3 预训练、InstructGPT 监督微调、o1 风格强化学习，再到自动研究。
   • 于是决定“抄作业”，命名为“底层同构”：把模拟字符串的下一个状态换成模拟物理世界的下一个状态，通过动作微调收敛到机器人所需部分，再由强化学习走完最后一公里。
   • 他的说法是“打不过就加入”。

4. VLA 怎么了：参数都堆在了语言上

   • 过去三年机器人领域主流架构是 VLA，英伟达 GR00T 与 Physical Intelligence 的 π0 都属此类。
   • Jim 指出结构性问题：这些模型其实该叫 LVA，因为参数大头全堆在语言上，语言一等、视觉次之、动作垫底。
   • 他的判断是 VLA 擅长编码知识和名词，不擅长物理和动词，重心放错了地方。
   • 例证是 RT-2 论文中的经典 demo：机器人把可乐罐推到 Taylor Swift 照片旁，泛化的是名词（认出人），而非动词（怎么推、角度、力度）。

5. 从 AI 垃圾视频到 DreamZero

   • 下一个预训练范式是视频模型，它们在内部学会了模拟物理世界的下一个状态。
   • 把这些世界模型变有用的办法是动作微调：把“所有可能的未来”的叠加态收敛到一条对真实机器人有意义的动作轨迹。
   • 英伟达的答案 DreamZero 是一种新型策略模型，执行动作前先往未来“做梦”几秒，再依梦境行动，同时解码下一帧画面和下一步动作，视觉与动作首次都成为一等公民。
   • Jim 承认 DreamZero 目前做不到每个任务 100% 可靠，大约相当于 GPT-2 阶段，方向对但不够稳定；他给新架构起名 WAM（World Action Models）。
   • DreamZero 论文 2026 年 2 月发布，140 亿参数，基于 Wan2.1 视频扩散模型；关键限制是 14B 模型需 38 倍系统级优化加 GB200 硬件，才能把闭环控制压到 7Hz，部署门槛极高。

6. 数据革命：从遥操作到“机器人不用参与的数据采集”

   • 过去三年是遥操作（teleop）的黄金时代，但硬上限是每台机器人每天 24 小时。
   • Jim 说“一天 24 小时是骗自己的”，实际能干 3 小时就不错，还得看机器当天状态，它们经常出毛病。
   • 破局方式是把机器人的末端执行器直接戴在人手上采集数据，完全绕过机器人本体。
   • 英伟达方案是外骨骼装置 DexUMI，用其数据训练的策略可完全自主运行，训练数据中不含任何遥操作数据。

7. EgoScale：21,000 小时人类视频和缩放定律

   • EgoScale 的 99.9% 训练数据来自人类第一人称视频（egocentric video）。
   • 预训练用 21,000 小时野外人类数据、零机器人数据；动作微调只用了 50 小时高精度动捕手套数据和 4 小时遥操作数据，合计不到训练总量的 0.1%。
   • 最重要的发现是灵巧操作的神经缩放定律：预训练算力小时数与最优验证损失之间呈极清晰的对数线性关系，R² 达 0.998。
   • Jim 把各类数据策略的可扩展性并列：遥操作处于最不可扩展的角落；第一人称视频若能转动 FSD 式数据飞轮，一年可达 1000 万小时。

8. Dream Dojo：不用物理引擎的神经仿真器

   • 机器人领域需要大量编程环境做强化学习（RL），但直接用真机做 real-to-sim-to-real 并不够。
   • Dream Dojo 不再用物理引擎，而是把视频世界模型变成完整的神经仿真器：输入连续动作信号，实时输出下一帧 RGB 画面与传感器状态。
   • 其中没有物理方程、没有图形引擎，完全由数据驱动；Jim 称画面里没有一个像素是真实的。
   • 他的总结是“算力等于环境等于数据”，并引“买得越多，省得越多”，称这条消息已获老板批准。

9. 终局路线图：2040 年前的三个成就

   • 第一个成就是物理图灵测试：2-3 年内，人无法分辨执行任务的是人还是机器人。
   • 第二个成就是物理 API：用软件和大模型编排机器人配置，建造“暗工厂”和自动化科学实验室。
   • 第三个成就是物理自动研究：机器人自己设计、改进并制造下一代机器人。
   • 时间表类比 AI 从 AlexNet（2012）到智能体（2026）用了 14 年，再加 14 年正好是 2040 年。

10. 五个问题速答

    • VLA 是否死了：演讲层面是死了，但英伟达 2026 年 4 月最新的 GR00T N1.7 论文仍明确写“VLA 模型”，内部范式迁移尚未完成。
    • DreamZero 能否用于生产：不能；Jim 自称约 GPT-2 阶段，论文披露 14B 模型跑闭环控制只有 7Hz 且必须用 GB200。
    • 遥操作是否会被淘汰：Jim 预测一两年内降到接近 0，但戴设备做家务不像开车是刚需，行业已有大量遥操作基础设施不会一夜报废。
    • 缩放定律意味着什么：若 R² = 0.998 持续成立，增加人类视频数据就能可预测地提升机器人灵巧性，这是整场演讲最核心的实证论据。
    • 英伟达赚什么：WAM 和神经仿真器算力需求极高，“buy more, save more”反映出范式切换天然有助于卖芯片的商业意图。

11. 最后：值得追踪的三个悬念

    • DreamZero 如何跨越“GPT-2 阶段”：未来 12-18 个月能否把极限参数做稳，决定这套范式的真实威力。
    • 英伟达内部对 VLA 范式的切换时刻：观察产品更新中架构的实质演进，若下一代仍是 VLA，则演讲更偏概念营销。
    • 第一人称视频数据的飞轮载体：英伟达自身没有消费级硬件入口，需观望谁（如苹果、Meta）能真正转动这块千万小时量级的数据。