来自清华和生数科技的研究推出新型3D生成模型V3D，它利用视频扩散模型的能力来创建高质量的三维对象和场景。V3D的核心思想是将连续的多视角图像视为视频，从而利用预训练的视频扩散模型来生成围绕物体的360度视角图像。这种方法允许从单个图像中重建出精确的3D模型。
例如，如果游戏开发者想要创建一个具有复杂细节的3D角色模型，他们可以使用V3D从角色的单张图片生成一系列高质量的360度视角图像，然后从这些图像中重建出详细的3D角色模型，大大加快了传统的3D建模流程。
主要功能和特点：
- 高质量3D生成： V3D能够生成高保真的3D对象和网格，且在3分钟内完成。
- 多视角一致性： 通过微调视频扩散模型，V3D能够生成具有高度一致性的多视角图像。
- 快速重建： 采用特定于视频扩散输出的重建流程，V3D能够快速从生成的多视角图像中重建出3D高斯体或纹理网格。
- 场景级新视角合成： V3D还可以进行场景级别的新视角合成，能够精确控制相机路径，并在给定稀疏输入视图的情况下生成新视角。
工作原理：
- 视频扩散模型： V3D首先在3D数据集上微调预训练的视频扩散模型，使其能够生成围绕物体的连续视角视频。
- 几何一致性先验： 为了提高生成图像的几何一致性，V3D引入了几何一致性先验，并采用感知损失作为重建目标。
- 3D重建和网格提取： 利用生成的多视角图像，V3D通过特定的重建流程来生成3D高斯体或网格，并采用空间雕刻初始化方法和纹理细化来提高重建质量。
具体应用场景：
- 3D建模和设计： V3D可以用于快速创建3D模型，适用于游戏开发、电影制作和虚拟现实等领域。
- 增强现实（AR）和虚拟现实（VR）： V3D生成的3D内容可以直接用于AR/VR应用，提供丰富的视觉体验。
- 在线内容创建： 对于需要快速生成3D对象的在线平台，V3D提供了一种高效的解决方案。
评论0