Black Forest Labs发布FLUX 3 Action:7B开放权重世界动作模型,RoboLab基准登顶

世界模型1个月前发布 小马良
66 0

Black Forest Labs正式推出FLUX 3 Action(F3A),一款7B参数量开放权重世界动作模型,在RoboLab-120基准上拿下第一,解决过往世界动作模型(WAM)推理成本高、VLA视觉语言动作模型性能不足的两难取舍。

  • 官方介绍:https://bfl.ai/models/flux-3-action
  • 模型:https://huggingface.co/collections/black-forest-labs/flux-3-action

核心指标

  • RoboLab基准基础版本成功率 38.3%±0.38,高于Cosmos 3 Nano的36.8%;引导蒸馏版本进一步提升至42.2%±0.36
  • 参数规模相比前代最优开放模型减少56%,最高提速3.95倍
  • 联合预测视频+动作,前瞻规划时长达到2.13秒,是Pi0.5(1秒)两倍以上;机器人运动推理速度优于最强开放VLA模型Pi0.5
  • 支持开发者基于自有演示数据微调,适配不同机器人硬件与任务策略

FLUX 3 Action沿用FLUX3多模态骨干,基于图像、视频、音频大规模预训练,视频占预训练Token总量95%以上。架构采用多模态Self-Flow预训练得到强表征,搭配引导蒸馏、单步采样方案,无需拆分视频与动作预测,在保留WAM世界理解能力的同时大幅压低推理开销。

部署与生态

项目联合英伟达,将FLUX 3 Action原生接入Hugging Face LeRobot,配套完整微调配方,支持在NVIDIA Jetson边缘设备部署。模型权重、代码、微调配方、基准测试与可复现示例全部开源,研究者可在机器人、游戏、车辆控制、计算机使用等具身智能场景二次开发。

两种系统路线对比:纯动作策略 vs 大推理模型

  • F3A独立运行:H200 GPU上单轮机器人动作推理仅21.08毫秒;单次任务成功平均成本仅0.09美元,耗时不足2分钟,大部分时间模型处于等待机器人执行的闲置状态,可并行服务大量任务。短板:无法独立解决超长逻辑、复杂规划类任务。
  • GPT 6 Astra纯推理模式:具备解决全部复杂基准任务的能力,但推理开销巨大,单次成功平均成本13.47美元,耗时约16分钟。

团队提出混合调度方案:由GPT 6 Astra负责高层任务规划,将底层实时运动控制交给F3A,仅在模型犯错、需要修正时介入。这套混合系统可以完成90%任务(包含纯动作模型无法单独搞定的复杂任务),单次成功成本降至8.77美元,耗时8分钟,相比替代方案成本降低29%、速度提升40%。

训练与优化要点

  1. 预训练+中期训练:在通用音视频数据之外,混入游戏录制、第一视角手部视频、遥操作机器人数据,学习动作表征;
  2. 采用logit-logistic时间步分布、动作缩放优化视频与动作的噪声-信号过渡;
  3. 推理端使用FP8量化、torch.compile、静态提示缓存等优化,降低本地硬件延迟;
  4. 第三方盲测:Positronic Robotics在Franka机械臂上开展对照测试,30次任务尝试完成28次。
© 版权声明

相关文章