Physis-Lang

4周前更新 45 00

英伟达、麻省理工、牛津大学团队联合推出Physis-Lang,一套自演化物理语言框架。该团队提出新思路:不用额外视觉、潜空间或者数值物理信号,而是直接依靠语言本身去约束视频物理合理性。

所在地:
英伟达
收录时间:
2026-09-30
其他站点:
Physis-LangPhysis-Lang

英伟达、麻省理工、牛津大学团队联合推出Physis-Lang,一套自演化物理语言框架。现有视频生成模型经常出现违背现实物理的画面,例如黄油像油漆般涂抹、球体直接穿墙。该团队提出新思路:不用额外视觉、潜空间或者数值物理信号,而是直接依靠语言本身去约束视频物理合理性。

Physis-Lang

Physis-Lang把物理语言作为统一可优化表征,同一套文本体系,贯穿数据筛选、模型训练、推理生成全流程。在9月29日公开Physics-IQ Verified排行榜快照,搭载Physis-Lang的Cosmos3-Super拿到48.2 ± 1.4排名第一,Cosmos3-Nano版本43.3 ± 1.5位列第二。

核心解决的痛点

普通字幕只描述发生了什么,缺少因果物理逻辑。Physis-Lang在原有字幕基础新增physics_reasoning字段,描述实体、因果交互、物理定律、时序演化与结果;同时生成场景专属physics_negative_prompt,列举不合理现象(石头漂浮水面等),推理阶段作为负向约束。

自演化字幕循环机制

字幕模型保持冻结,只迭代优化提示词。

  1. GPT-5.5作为字幕生成器,基于20支视频开发集生成字幕,包含273条人工校验物理断言;
  2. Gemini-3.1-Pro充当物理评审器;
  3. 演化智能体读取评分与错误信息,改写提示词。

评审从两个维度打分:

  • 精确性:拆分为原子级陈述,逐条对照视频核验;
  • 召回率:所有人工标注物理断言,需要被字幕显式说明或可推导得出。

迭代使用PhysCapBench基准,该基准包含246条视频、3794条人工验证物理断言。字幕F1分数从第一轮78.64迭代至第9轮87.82,迭代过程存在波动,第2轮因描述过于保守下降至76.28;第9轮要求写出每一步可见因果,并将帧采样从2fps提升至4fps。

语言驱动的数据筛选流程

GPT-5.5诊断智能体识别视频里的物理错误,归类为刚体运动、碰撞、流体力学等缺陷类型。基于物理标签在海量视频库检索素材,优先匹配物理属性而非画面外观。

最终训练集合计183K视频,包含WISA-80K过滤后的71K视频,外加112K检索片段。仅这套检索策略,就能在三项基准上平均提升3.01分;VideoPhy-2的化学、热过程单项提升高达8分。

和Veo 3.1基准对比

采用LoRA微调注意力投影层,模型主干架构与损失函数不变。Cosmos3-Nano+Physis-Lang与谷歌Veo3.1对比:

  • PhyGenBench:71.04 vs 65.63
  • Physics-IQ Verified:43.41 vs 34.99
  • PhyGround:69.90 vs 69.24
  • VideoPhy-2:全集68.02 vs 68.87;Hard子集62.36 vs 58.43

该方案具备通用性,迁移到不同模型骨干均有收益:Wan2.1-14B +7.05、Cosmos3-Edge-4B +3.24、Cosmos3-Nano-16B +6.22、Cosmos3-Super-64B +5.02。通用画质指标VBench-I2V基本维持稳定,Cosmos3-Nano由88.32小幅升至88.69。

仅使用物理推理提示词+负提示词,无需微调,就能把冻结的Cosmos3-Nano在PhyGenBench上从61.67提升至67.29。

本地轻量化方案

团队把原本依赖GPT商业API的整套管线蒸馏成两个Qwen3-VL-4B-Instruct模型:PhysThinker-C生成字幕,PhysThinker-U负责提示词上采样。

  • 原版商业API管线:在Wan2.1-14B上提升+7.05,API成本约24120美元
  • 替换为PhysThinker-C:依然保持+6.76提升,成本约120美元
  • 完全本地部署:零API成本,仍可带来+4.76提升

竞品横向对比

特性Physis-LangPhiZeroPhyGDPOSelf-Refinement
研发方NVIDIA、MIT、OxfordCASIA (NLPR)Meta (ECCV 2026)Liu 等
核心思路自演化自然语言物理字幕、负提示词离散物理语言,先推理再渲染VLM物理奖励的分组DPOVLM反馈多模态思维链提示词精炼
物理约束位置数据筛选、训练字幕、推理提示词Qwen3-VL-4B推理器输入扩散解码器PhyVidGen-135K偏好训练仅推理阶段提示词
是否需要训练LoRA微调;纯提示词模式亦可生效需要DPO训练免训练
Physics-IQ Verified43.4140.91n/r27.20
PhyGenBench71.04n/r48.9649.17
VideoPhy-2(全部 / Hard)68.02 / 62.36n/r59.56 / 44.9447.88 / 28.09
PhyGround69.9057.85n/r58.22
代码/权重仅发布论文即将上线即将发布论文

注:分数来自Physis-Lang论文,n/r代表该项未公布;对比均基于Cosmos3-Nano骨干模型。

关键要点总结

  1. Physis-Lang依靠评审智能体迭代优化物理字幕,字幕生成模型本身保持冻结;
  2. 构建PhysCapBench数据集,使用3794条人工物理断言评估字幕质量;
  3. Cosmos3-Nano搭载Physis-Lang后,四项物理基准中三项超越Veo3.1;
  4. 仅增加物理提示词,即可将冻结模型在PhyGenBench提升5.62分;
  5. 当前仅公开论文,没有开源代码与模型权重。

相关导航