
英伟达、麻省理工、牛津大学团队联合推出Physis-Lang,一套自演化物理语言框架。现有视频生成模型经常出现违背现实物理的画面,例如黄油像油漆般涂抹、球体直接穿墙。该团队提出新思路:不用额外视觉、潜空间或者数值物理信号,而是直接依靠语言本身去约束视频物理合理性。

Physis-Lang把物理语言作为统一可优化表征,同一套文本体系,贯穿数据筛选、模型训练、推理生成全流程。在9月29日公开Physics-IQ Verified排行榜快照,搭载Physis-Lang的Cosmos3-Super拿到48.2 ± 1.4排名第一,Cosmos3-Nano版本43.3 ± 1.5位列第二。
核心解决的痛点
普通字幕只描述发生了什么,缺少因果物理逻辑。Physis-Lang在原有字幕基础新增physics_reasoning字段,描述实体、因果交互、物理定律、时序演化与结果;同时生成场景专属physics_negative_prompt,列举不合理现象(石头漂浮水面等),推理阶段作为负向约束。
自演化字幕循环机制
字幕模型保持冻结,只迭代优化提示词。
- GPT-5.5作为字幕生成器,基于20支视频开发集生成字幕,包含273条人工校验物理断言;
- Gemini-3.1-Pro充当物理评审器;
- 演化智能体读取评分与错误信息,改写提示词。
评审从两个维度打分:
- 精确性:拆分为原子级陈述,逐条对照视频核验;
- 召回率:所有人工标注物理断言,需要被字幕显式说明或可推导得出。
迭代使用PhysCapBench基准,该基准包含246条视频、3794条人工验证物理断言。字幕F1分数从第一轮78.64迭代至第9轮87.82,迭代过程存在波动,第2轮因描述过于保守下降至76.28;第9轮要求写出每一步可见因果,并将帧采样从2fps提升至4fps。
语言驱动的数据筛选流程
GPT-5.5诊断智能体识别视频里的物理错误,归类为刚体运动、碰撞、流体力学等缺陷类型。基于物理标签在海量视频库检索素材,优先匹配物理属性而非画面外观。
最终训练集合计183K视频,包含WISA-80K过滤后的71K视频,外加112K检索片段。仅这套检索策略,就能在三项基准上平均提升3.01分;VideoPhy-2的化学、热过程单项提升高达8分。
和Veo 3.1基准对比
采用LoRA微调注意力投影层,模型主干架构与损失函数不变。Cosmos3-Nano+Physis-Lang与谷歌Veo3.1对比:
- PhyGenBench:71.04 vs 65.63
- Physics-IQ Verified:43.41 vs 34.99
- PhyGround:69.90 vs 69.24
- VideoPhy-2:全集68.02 vs 68.87;Hard子集62.36 vs 58.43
该方案具备通用性,迁移到不同模型骨干均有收益:Wan2.1-14B +7.05、Cosmos3-Edge-4B +3.24、Cosmos3-Nano-16B +6.22、Cosmos3-Super-64B +5.02。通用画质指标VBench-I2V基本维持稳定,Cosmos3-Nano由88.32小幅升至88.69。
仅使用物理推理提示词+负提示词,无需微调,就能把冻结的Cosmos3-Nano在PhyGenBench上从61.67提升至67.29。
本地轻量化方案
团队把原本依赖GPT商业API的整套管线蒸馏成两个Qwen3-VL-4B-Instruct模型:PhysThinker-C生成字幕,PhysThinker-U负责提示词上采样。
- 原版商业API管线:在Wan2.1-14B上提升+7.05,API成本约24120美元
- 替换为PhysThinker-C:依然保持+6.76提升,成本约120美元
- 完全本地部署:零API成本,仍可带来+4.76提升
竞品横向对比
| 特性 | Physis-Lang | PhiZero | PhyGDPO | Self-Refinement |
|---|---|---|---|---|
| 研发方 | NVIDIA、MIT、Oxford | CASIA (NLPR) | Meta (ECCV 2026) | Liu 等 |
| 核心思路 | 自演化自然语言物理字幕、负提示词 | 离散物理语言,先推理再渲染 | VLM物理奖励的分组DPO | VLM反馈多模态思维链提示词精炼 |
| 物理约束位置 | 数据筛选、训练字幕、推理提示词 | Qwen3-VL-4B推理器输入扩散解码器 | PhyVidGen-135K偏好训练 | 仅推理阶段提示词 |
| 是否需要训练 | LoRA微调;纯提示词模式亦可生效 | 需要 | DPO训练 | 免训练 |
| Physics-IQ Verified | 43.41 | 40.91 | n/r | 27.20 |
| PhyGenBench | 71.04 | n/r | 48.96 | 49.17 |
| VideoPhy-2(全部 / Hard) | 68.02 / 62.36 | n/r | 59.56 / 44.94 | 47.88 / 28.09 |
| PhyGround | 69.90 | 57.85 | n/r | 58.22 |
| 代码/权重 | 仅发布论文 | 即将上线 | 即将发布 | 论文 |
注:分数来自Physis-Lang论文,n/r代表该项未公布;对比均基于Cosmos3-Nano骨干模型。
关键要点总结
- Physis-Lang依靠评审智能体迭代优化物理字幕,字幕生成模型本身保持冻结;
- 构建PhysCapBench数据集,使用3794条人工物理断言评估字幕质量;
- Cosmos3-Nano搭载Physis-Lang后,四项物理基准中三项超越Veo3.1;
- 仅增加物理提示词,即可将冻结模型在PhyGenBench提升5.62分;
- 当前仅公开论文,没有开源代码与模型权重。
相关导航


Decepticon

Crawlie

AutoTTS

CubeSandbox

SkillsHunt

PromptForge






