来自香港中文大学（深圳）、NVIDIA 和加州大学默塞德分校的研究人员开发了 Tex4D，这是一种零样本方法，使用视频扩散模型为未纹理化的动画网格序列生成多视图、时间一致的 4D 纹理。简单来说，如果你有一个3D角色模型，但这个模型表面没有任何颜色和纹理，Tex4D可以根据你给出的文字描述（比如“一个在海里游泳的风暴兵”），自动为这个模型生成逼真的纹理，并且这些纹理在不同视角和时间上看起来都是连贯的。
主要功能和特点
- 零拍摄学习（Zero-Shot Learning）：Tex4D不需要针对特定任务的训练数据，它可以直接使用预训练的视频扩散模型来生成纹理。
- 多视角一致性：它能够确保从不同角度观察3D模型时，其表面的纹理看起来是一致的。
- 时间一致性：在动画或视频中，模型的纹理会随着时间的变化而保持连贯，不会有突兀的变化。
- 高效的计算：Tex4D在生成纹理时计算效率高，能够快速渲染出高质量的纹理。
工作原理
Tex4D的工作原理包括以下几个步骤：
- 深度图像渲染：首先，它会从多个预定义的视角渲染出模型的深度图像，作为几何条件。
- 噪声初始化：然后，它会为每个视角和背景初始化噪声图像。
- 视频扩散模型：使用预训练的视频扩散模型，将噪声图像逐步去噪，生成多帧一致的图像。
- UV空间聚合：在UV空间中聚合多视角的潜在图，以确保全局一致性。
- 参考UV混合：通过引入参考UV图，增强帧与帧之间的相关性，解决自遮挡问题，并同步不可见区域的扩散过程。
具体应用场景
- 电影和游戏制作：在电影和游戏制作中，艺术家可以使用Tex4D快速生成复杂的纹理，提高工作效率。
- 虚拟现实（VR）和增强现实（AR）：在VR或AR应用中，Tex4D可以为虚拟对象生成逼真的纹理，提升用户体验。
- 3D打印和产品设计：设计师可以使用Tex4D为3D打印模型或产品设计原型生成高质量的纹理。
- 教育和培训：在教育领域，Tex4D可以用于创建具有逼真纹理的3D模型，用于教学和培训。
实验结果
广泛的实验表明，Tex4D在处理未经纹理处理的3D网格序列时，能够有效地生成高质量的、多视角和多帧一致的视频纹理。这是首次专门为4D场景纹理化设计的方法，为未来的研究和应用提供了新的方向。
评论0