MBZUAI 开源 PAN 2:29B 开源物理 AI 世界模型,主打多步任务视频模拟

穆罕默德·本·扎耶德人工智能大学(MBZUAI)基础模型研究所(IFM)于 2026 年 11 月 10 日正式发布 PAN 2,一款面向物理智能(Physical AI)的开放世界模型。该模型基于 Apache 2.0 协议开源了权重、训练代码及推理代码,旨在为机器人和智能体开发者提供一个在行动前验证计划的仿真环境。

  • GitHub:https://github.com/ifm-ai/PAN2
  • 模型:https://huggingface.co/IFM/PAN2
MBZUAI 开源 PAN 2:29B 开源物理 AI 世界模型,主打多步任务视频模拟

核心架构:概念推理与感知推理的双层协同

PAN 2 遵循 IFM 提出的生成潜在预测(GLP)架构,将世界模拟过程解耦为两个独立的推理阶段,这种“手脑分离”的设计显著提升了长序列任务的规划能力。

推理阶段组件与技术栈功能描述
概念推理 (Conceptual)指令遵循 LLM(默认 Kimi K3)读取观察结果与动作请求,将下一个世界状态转化为结构化 JSON,包含事件、演员绑定的定时动作及相机运动。
感知推理 (Perceptual)29B MMDiT 扩散 Transformer接收文本条件(由冻结的 Qwen3.5-9B 编码)和可选首帧,预测视频潜在空间。最终通过 Wan 2.2 VAE 解码器渲染为 704×1248 分辨率、24 fps 的视频。

消融实验显示:LLM 规划器是 PAN 2 的核心。移除概念推理后,完整计划完成率从 34.0% 骤降至 0.0%,步骤完成率从 75.1% 降至 8.7%。即便仅进行格式重写,也能恢复部分性能至 27.8%,证明了结构化中间表示的重要性。

部署与运行要求

PAN 2 支持文本到视频(T2V)和图像到视频(I2V)生成,可通过 Hugging Face Diffusers、vLLM、FastVideo 或官方 generate.py 脚本运行。

  • 硬件需求:由于模型参数量达 29B 且为稠密架构,每个 GPU 工作器需以 BF16 精度加载完整模型。IFM 未公布具体 VRAM 占用,但建议配备块卸载(Block Offload)作为回退方案。
  • 输入规范:提示词最好采用结构化字幕形式,硬预算为 1,536 Token。IFM 提供了适用于 Claude Code 和 Codex 的概念推理器技能,可将自由文本重写为结构化输入。
  • 安全护栏:强烈推荐使用 pan2-guardrail。测试显示,该模块能将有害 T2V 请求的不安全输出从 33.9% 降至 1.5%,但也会拦截约 11.5% 的良性请求。

关键局限性与展望

尽管 PAN 2 在多步任务规划上取得了开放模型的领先地位,但其长计划执行仍存在不稳定性,约三分之二的计划在多步执行中会出现遗漏。此外,其对数据中心级 GPU 的高依赖也限制了其在边缘设备上的应用。

IFM 在训练后期剔除了游戏玩法、动画和模拟素材,这一决策在盲测中获得了 58% 的偏好率,表明真实世界视频数据对提升物理一致性至关重要。随着 PAN 2 的开源,开发者有望在本地环境中构建更可靠的机器人仿真测试闭环。

© 版权声明

相关文章