基于两阶段高斯溅射的3D模型DreamPolisher：基于文本描述生成三维（3D）对象

来自牛津大学的研究人员推出DreamPolisher，它是一种基于文本描述生成三维（3D）对象的方法。这是一种基于两阶段高斯溅射的方法，该方法强制各视图之间的几何一致性。首先，通过几何优化对粗略的3D生成进行细化。随后，我们使用由ControlNet驱动的细化器，结合几何一致性项，以提高生成3D资产的纹理保真度和整体一致性。

例如，你只需给计算机一个描述，比如“一个穿着标志性工作服、戴着红色帽子和白色手套的马里奥3D模型”，DreamPolisher就能够根据这个描述创建出一个详细的三维马里奥模型。

主要功能和特点：

1. 高质量生成： DreamPolisher能够根据文本描述生成高分辨率、细节丰富的3D对象。
2. 视角一致性： 该技术确保从不同角度查看生成的3D对象时，它们的外观是一致的，这对于创建逼真的三维场景非常重要。
3. 几何引导： 通过几何优化和一致性约束，DreamPolisher提高了生成模型的几何精度和纹理细节。
4. 两阶段优化： 首先通过粗略优化生成3D对象的大致形状，然后通过控制网络（ControlNet）和几何一致性损失进一步细化模型。

工作原理：

DreamPolisher的工作流程分为两个阶段。第一阶段，它使用预训练的文本到点云模型（如Point-E）根据文本描述生成一个粗略的3D点云，这些点云被用来初始化3D高斯体。然后，通过3D高斯投影和文本到图像的扩散模型引导，对这些高斯体进行优化。 第二阶段，为了提高生成对象的细节和视角一致性，DreamPolisher使用ControlNet refiner和新的几何一致性损失来进一步优化3D对象。ControlNet refiner通过多视角渲染和场景坐标渲染器增强对象的外观细节，而几何一致性损失确保不同视角下的对象颜色和形状保持一致。

具体应用场景：

1. 虚拟现实（VR）和增强现实（AR）： DreamPolisher可以用于创建VR和AR应用中的高质量3D内容，提供更加沉浸式的用户体验。
2. 游戏开发： 游戏开发者可以使用DreamPolisher根据文本描述快速生成游戏中的角色、道具和环境，加速游戏制作过程。
3. 电影和动画制作： 电影制作人员可以利用DreamPolisher根据剧本描述生成复杂的3D场景和角色模型，提高制作效率。
4. 建筑设计： 建筑师和设计师可以使用DreamPolisher根据设计说明创建建筑物和室内装饰的3D模型，进行可视化和评估。

DreamPolisher是一种强大的文本到3D生成工具，它通过结合几何引导和多阶段优化，能够高效地创造出细节丰富且视角一致的三维对象。