3D内容生成框架DreamGaussian：提高基于图像和文本生成3D模型的效率和质量

来自南洋理工大学、百度和北京大学的研究人员推出3D内容生成框架DreamGaussian，专门设计用于提高基于优化方法创建三维（3D）模型的效率和质量。该框架旨在解决当前从图像或文本快速生成高质量3D内容时所面临的长时间优化问题，将原本可能需要数小时的过程缩短至几分钟内完成。

DreamGaussian通过使用一种新颖的3D高斯溅射（Gaussian Splatting）模型，结合网格提取和纹理细化技术，实现了快速生成高质量的3D模型。

主要功能：

• 从单视图图像或文本描述生成高质量的3D模型。

• 通过优化过程，DreamGaussian能够在几分钟内生成具有详细纹理的3D网格模型。

主要特点：

• 高效性： DreamGaussian显著减少了基于优化的2D提升方法的生成时间，比现有方法快约10倍。

• 质量保证： 通过两阶段优化过程，首先快速生成粗略形状，然后细化纹理，确保了生成模型的质量和细节。

• 多模态输入： 支持从图像和文本两种不同的输入方式生成3D模型。

工作原理：

1. 第一阶段（Gaussian Splatting）： 使用3D高斯溅射模型初始化几何和外观，通过单步得分蒸馏采样（SDS）损失进行优化。
2. 第二阶段（网格提取与纹理细化）： 从生成的3D高斯中提取纹理网格，并通过UV空间纹理细化阶段进一步增强纹理细节。

DreamGaussian通过其高效的3D内容生成能力，为各种创意产业提供了强大的工具，使得3D模型的创作变得更加便捷和快速。