Robostral Navigate：单摄像头 AI 导航

中文精读

原文约 1,645 词 · 10 节

1. 导言：Robostral Navigate 发布

   • Robostral Navigate 是 Mistral 首个面向具身导航（embodied navigation）的模型，参数量 8B，输入为 RGB 图像和一句自然语言指令，输出是机器人的移动动作。
   • 示例指令描述了跨房间的长程任务：离开大厅、穿过走廊、进入储物间，停下并面向第二个货架。
   • 其他方案常依赖深度传感器、LiDAR 或多摄像头；该模型只用一颗普通 RGB 相机、无深度传感器。
   • 在 R2R-CE（Room-to-Room in Continuous Environments，连续环境中的房间到房间导航）验证集 unseen 上达到 76.6%，即训练中未出现过的环境。
   • 比最好的单摄像头方案高 9.7 个点，比使用深度或多摄像头的最佳系统高 4.5 个点。
   • 模型完全自研，训练数据来自仿真，并采用节省 token 的训练技术；可跨机器人类型泛化，能适应训练中未见的真实障碍物，并基于指向的导航与强化学习结合以持续提升。

2. 导航能力

   • 模型面向机器人导航，目标是让机器人自主穿行办公室、住宅、商业建筑以及户外等复杂环境。
   • 文中展示了一段在真实办公场景中完整自主执行长程指令路线的运行。
   • 该技术适用于制造、配送、物流、酒店服务等场景，文称这是当前客户需求最高的能力之一。
   • 只需给一条指令，模型即可自行完成整个任务，能在有行人和障碍物的真实空间中移动，并适应各类环境。

3. 要点

   • 在 R2R-CE 上达到当前最优性能：validation seen 成功率 79.4%，validation unseen 成功率 76.6%。
   • 仅用单个 RGB 相机，不使用 LiDAR 或深度传感器。
   • 8B 模型完全自研，并且全部在仿真中训练。
   • 可运行于轮式、足式和飞行机器人，并能跨机器人尺寸泛化。
   • 对不同相机内参（camera intrinsics）的差异具有鲁棒性。
   • 通过前缀缓存（prefix-caching）实现 token 高效的训练。

4. 要点（续）

   • 文中给出四张对比图：成功率、oracle 成功率、按路径长度加权的成功率、导航误差。

5. 通过指向进行导航

   • 给定任务和观测历史，模型通过“指向”（pointing）预测下一步移动位置：在当前相机视图中推断目标位置的图像坐标，以及到达时应有的朝向。
   • 相比依赖米制位移的指令，指向方式让策略对相机内参变化和世界尺度变化天然鲁棒。
   • 该方法的局限是目标位置不在当前视野内时无法处理。
   • 指向不适用时，模型回退到机器人局部坐标系下的位移，例如“向前 2 米、向左 1.5 米、向左转 25 度”。

6. 从零构建

   • 模型完全自研，不依赖现有开源视觉语言模型（VLM）。
   • 模型由自家面向 grounding 任务（指向、计数、目标定位等）的视觉语言模型初始化而来；导航被视为这些能力的自然延伸——先理解物体在哪，再学会如何移动。
   • 数据生成流水线完全在仿真中构建且高效，支持快速迭代。
   • 最终数据集约 240 万条轨迹，覆盖 35 万个场景。

7. 高效监督训练

   • 核心是一个基于前缀缓存的训练算法，采用树状注意力掩码（tree-based attention-masking）策略。
   • 该方法把整个 episode 压缩成一条序列，在一次前向传播中训练所有时间步，同时避免时间步之间的信息泄漏。
   • 与每个时间步一个样本的训练方式相比，训练 token 数量减少 22 倍，且保留全部学习信号；原本需要数月的训练缩短到数天。
   • 监督训练之后使用在线强化学习（online RL）进一步提效，算法为 CISPO。
   • 强化学习让模型从试错中学习、从失败中恢复并获得探索行为，缓解朴素行为克隆（behavior cloning）的分布偏移问题，单独带来 3.2% 的成功率提升。
   • 文中称目前尚未看到性能平台期，认为更多训练和实验会继续提升该指标。

8. 下一步

   • Robostral Navigate 只是通往统一具身智能体（unified embodied agent）的第一步。
   • 文中认为导航是通用机器人学的基础能力。
   • 结合大规模仿真、高效训练和强 grounding 先验，该模型表明用紧凑模型加单颗 RGB 相机即可达到最先进的具身导航水平。
   • 文末邀请读者与团队沟通，开启具身前沿 AI 之旅。

9. 技术报告

   • 文中指出，完整的架构、训练设置与基准测试结果都放在 Robostral Navigate 技术报告中，并给出 arXiv 报告链接（arxiv.org/abs/2607.20785）与一个“Report”入口。
   • 页面末尾还出现“0%”进度条、渐变背景图（gradient.png）和黑猫坐姿动图等页面元素，这些属于页面装饰，与正文技术内容无关。

10. 技术报告

    • 完整架构、训练设置和基准测试结果见 Robostral Navigate 技术报告（arXiv 链接给出）。