Mistral 发布 Robostral Navigate：单 RGB 摄像头实现高精度机器人导航，成功率超多传感器方案

机器人导航一直面临着一个两难选择：要么使用昂贵的多传感器阵列（如激光雷达、深度相机）以确保精度，要么使用廉价的单目摄像头但牺牲鲁棒性。

• 官方介绍：https://mistral.ai/news/robostral-navigate/

Mistral 新推出的 Robostral Navigate ，这款拥有 80 亿参数 的具身导航模型，仅凭单个 RGB 摄像头和自然语言指令，就能引导机器人在复杂的现实环境中自主穿行。更令人惊讶的是，它在性能上不仅超越了其他单摄像头方案，甚至领先于主流的多传感器系统。

核心亮点：极简硬件，极致性能

1. 单 RGB 摄像头的胜利

• 硬件简化：无需深度传感器或立体视觉系统，仅依靠普通的 RGB 图像输入。这大幅降低了机器人的硬件成本和复杂度。
• 性能标杆：在针对未见环境的 R2R-CE 基准测试中，Robostral Navigate 取得了 76.6% 的成功率。
  • 比最佳单摄像头方法高出 9.7 个百分点。
  • 比领先的多传感器系统高出 4.5 个百分点。
• 广泛兼容：适用于轮式、腿式及空中机器人平台，且对不同摄像头硬件具有高度鲁棒性。

2. 纯模拟训练，快速迭代

• 数据规模：完全在模拟环境中训练，使用了约 40 万条 导航轨迹，覆盖 6,000 个 独特场景（包括办公室、住宅、商业空间及室外区域）。
• 效率飞跃：通过专门的数据生成流程和**基于树的注意力掩码（Tree-based Attention Masking）**策略，实现了令牌高效的监督训练。
  • 结果：显著减少了训练所需的 Token 数量，将训练时间从传统的数月缩短至数天。
• 在线强化学习：在监督学习基础上，引入在线强化学习进一步微调，提升了模型在动态环境中的适应能力和导航精度。

技术架构：原创与自研

Robostral Navigate 由 Mistral 旗下的 Robostral 团队完全内部设计，未依赖现有的开源基础模型。这彰显了其在视觉语言模型（VLM）与机器人控制结合领域的原创研究能力。

• 多模态输入：结合 RGB 图像帧与自然语言指令（如“去厨房拿杯子”）。
• 端到端输出：直接生成机器人的动作控制信号或路径规划。
• 泛化能力：由于在多样化模拟场景中训练，模型对未见过的真实环境展现出强大的零样本或少样本适应能力。

应用场景与合作伙伴

目前，Robostral Navigate 正面向以下行业的精选合作伙伴提供早期访问：

• 制造业：工厂内部的物料搬运与巡检。
• 物流业：仓库内的包裹分拣与运输。
• 配送业：最后一英里配送机器人的路径规划。
• 酒店业：服务机器人的客房引导与物品递送。

随着测试范围的扩大，预计未来将有更多开发者能够通过 API 或 SDK 接入该模型。