来自麻省理工学院、斯坦福大学、 哥伦比亚大学和康奈尔大学的研究人员推出PhysDreamer系统，这是一个基于物理的交互式3D对象动态生成方法。PhysDreamer能够使静态的3D对象通过视频生成模型学习到的动力学先验知识，从而具备对新颖交互动作（如外力作用或代理操作）做出响应的动态行为。这项技术的核心在于，它不需要直接估计物体的物理材料属性（如刚度），而是利用视频生成模型隐式地捕捉到的物体外观与动态行为之间的关系。
例如，你是一名虚拟现实（VR）游戏开发者，需要创建一个虚拟环境，其中玩家可以与3D对象进行交互，如推倒花瓶或拉动绳索。使用PhysDreamer，你可以生成这些3D对象对玩家动作的逼真响应，从而提高游戏的沉浸感和交互性。在实验中，PhysDreamer在多种弹性物体上进行了测试，并通过用户研究评估了生成的交互式动态的真实性。结果表明，PhysDreamer在模拟物体动态方面显著优于现有技术，这验证了利用视频生成模型先验知识来估计物理材料属性并生成交互式3D动态的有效性。
主要功能：
- 3D对象动态生成：PhysDreamer可以生成3D对象在受到外力或操作时的动态响应。
主要特点：
- 基于物理的交互：系统能够模拟3D对象的物理属性，如弹性和刚度。
- 视频生成模型：利用预训练的视频生成模型来估计物体的物理材料属性。
- 用户研究验证：通过用户研究验证了生成的动态行为的真实性。
工作原理：
- 3D高斯表示：使用3D高斯函数来表示3D场景中的物体。
- 神经场建模：通过神经场来模拟物体的物理材料属性，如杨氏模量（描述材料刚度）。
- 不同的物理模拟方法：使用可微分的材料点方法（Material Point Method, MPM）来模拟3D动态。
- 优化过程：通过优化物理材料场和初始速度场，使得渲染的动态视频与参考视频（由视频生成模型产生）匹配。
评论0