Dyna Robotics 推出 Dyna-2:基于百万小时人类视频预训练的世界-行动模型

世界模型2个月前发布 小马良
106 0

Dyna Robotics 正式发布了 Dyna-2,这是一个革命性的机器人操作“世界-行动模型”(World-Action Model, WAM)。该模型在超过 100 万小时的第一人称人类视频数据上进行了预训练,相当于约 170 年的连续清醒体验。Dyna-2 的核心突破在于验证了普通人类视频可以作为机器人学习的主要数据源,从而打破了传统遥操作数据生成的瓶颈。

  • 官方介绍:https://www.dyna.co/dyna-2
Dyna Robotics 推出 Dyna-2:基于百万小时人类视频预训练的世界-行动模型

核心架构:世界-行动模型 (WAM)

Dyna-2 采用混合 Transformer 架构,基于视频扩散骨干网络构建:

  • 双流处理:视频和行动分别进行 Token 化,并通过各自的 DiT(Diffusion Transformer)层堆栈处理,两者之间相互关注。
  • 流匹配训练:使用流匹配(Flow Matching)技术,视频损失和行动损失共享主干,作为两个独立的边际速度场。
  • 反应性策略:行动 Transformer 故意设计得较浅,且不将带噪视频潜空间作为参数,确保推理时的实时反应性。本体感觉直接馈入行动 Transformer,而文本仅通过交叉关注影响视频 Token,不直接影响行动 Token。

三大扩展律发现

Dyna Robotics 通过从 1,000 到 1,000,000 小时的数据阶梯实验,得出了以下关键结论:

  1. 人类数据上的扩展律:随着数据量增加,所有指标均呈幂律单调改进。 Held-out MSE 拟合公式为 $0.0691 \cdot D^{-0.0184}$ ($R^2=0.919$)。
  2. 零样本迁移至机器人数据:该扩展律首次成功迁移到模型从未见过的机器人数据上。在 39 个双臂 YAM 平台任务上的零样本行动 MSE 拟合公式为 $0.306 \cdot D^{-0.0713}$ ($R^2=0.884$)。
  3. 视频驱动跨具身泛化:联合去噪(视频+行动)在所有尺度上均优于仅行动模型。增加纯视频数据显著降低了零样本机器人 MSE(从 0.340 降至 0.120),证明了视频是跨具身泛化的独立驱动力。

性能表现与部署

  • 后训练效果:在 14 个实际任务(如清理餐盘、料箱组装等)上进行后训练后,平均归一化得分从 20% 提升至 53%。在未见过的客户现场,Dyna-2 的生产标准通过率达到 87%,远超 Dyna-1 的 46%。
  • 推理加速:通过蒸馏流水线,单张 H100 上的视频采样时间从 10,203 毫秒大幅削减至 110 毫秒。
  • 部署模式:Dyna-2 不公开权重、API 或许可证。目前仅作为供应商运营的系统,通过购买 Dyna 机器人单元进行部署。主要面向酒店、餐饮、洗衣及轻组装等领域的中端服务运营商。
© 版权声明

相关文章