新型框架PhysAvatar：将物理模拟和逆向渲染技术相结合，创建逼真的3D虚拟人物

来自斯坦福大学、卡内基梅隆大学、谷歌和慕尼黑工业大学的研究人员推出新型框架PhysAvatar，它将物理模拟和逆向渲染技术相结合，能够自动从多视角视频数据中估计人体的形状和外观，以及衣物面料的物理参数，为创建逼真的3D虚拟人物提供了新的可能性。开发团队采用了一种网格对齐的4D高斯技术来进行时空网格跟踪，同时使用基于物理的逆渲染器来估计材料的固有属性。PhysAvatar整合了一个物理模拟器，通过基于梯度的优化方式估计衣物的物理参数。这些新颖的功能使得PhysAvatar能够在训练数据中没有的运动和光照条件下，创建穿着宽松衣物的高品质新视角渲染角色。

• 项目主页：https://qingqing-zhao.github.io/PhysAvatar
• 论文：https://arxiv.org/abs/2404.04421

PhysAvatar能够从多视角视频数据中学习和渲染穿着衣服的3D虚拟人物（avatar）。例如，你有一个穿着不同衣服的人的一系列照片或视频，PhysAvatar能够创建一个可以逼真模拟这个人在不同动作和光照条件下的3D模型。

主要功能和特点：

1. 结合物理模型和渲染技术： PhysAvatar不仅能够重建人物的形状和外观，还能够模拟衣服的物理属性，如摩擦和碰撞。
2. 高质量渲染： 它能够生成穿着宽松衣服的人物在未见过的动态和光照条件下的高质量新视角渲染图。
3. 逆向物理和逆向渲染的结合： 该框架通过梯度优化的方式，自动估计人体的形状和衣服的物理参数，如密度和刚度。

工作原理：

1. 网格跟踪： 利用与网格对齐的4D高斯技术，跟踪视频中衣服表面的点，建立密集的对应关系。
2. 基于物理的动态建模： 使用物理模拟器和梯度优化来估计衣服的物理属性，以便在新的动作下模拟衣服的动态。
3. 基于物理的外观细化： 通过物理基础的逆向渲染器进一步优化外观，考虑自遮挡等因素，以提高渲染的真实性。

具体应用场景：

1. 动画和游戏： PhysAvatar可以用于创建逼真的游戏角色或动画电影中的虚拟人物。
2. 虚拟现实（VR）和增强现实（AR）： 在VR和AR应用中，PhysAvatar可以用来生成用户或虚拟角色的高保真3D模型，提供更加沉浸的体验。
3. 电子商务： 在线上购物平台，PhysAvatar可以用来展示服装在不同体型和动作下的外观，帮助用户更好地了解产品。
4. 电影和电视制作： 该技术可以用于电影特效或电视节目中，创建逼真的虚拟人物和服装，降低制作成本并提高效率。