来自牛津大学的研究人员推出DreamPolisher,它是一种基于文本描述生成三维(3D)对象的方法。这是一种基于两阶段高斯溅射的方法,该方法强制各视图之间的几何一致性。首先,通过几何优化对粗略的3D生成进行细化。随后,我们使用由ControlNet驱动的细化器,结合几何一致性项,以提高生成3D资产的纹理保真度和整体一致性。
例如,你只需给计算机一个描述,比如“一个穿着标志性工作服、戴着红色帽子和白色手套的马里奥3D模型”,DreamPolisher就能够根据这个描述创建出一个详细的三维马里奥模型。
主要功能和特点:
- 高质量生成: DreamPolisher能够根据文本描述生成高分辨率、细节丰富的3D对象。
- 视角一致性: 该技术确保从不同角度查看生成的3D对象时,它们的外观是一致的,这对于创建逼真的三维场景非常重要。
- 几何引导: 通过几何优化和一致性约束,DreamPolisher提高了生成模型的几何精度和纹理细节。
- 两阶段优化: 首先通过粗略优化生成3D对象的大致形状,然后通过控制网络(ControlNet)和几何一致性损失进一步细化模型。
工作原理:
DreamPolisher的工作流程分为两个阶段。第一阶段,它使用预训练的文本到点云模型(如Point-E)根据文本描述生成一个粗略的3D点云,这些点云被用来初始化3D高斯体。然后,通过3D高斯投影和文本到图像的扩散模型引导,对这些高斯体进行优化。 第二阶段,为了提高生成对象的细节和视角一致性,DreamPolisher使用ControlNet refiner和新的几何一致性损失来进一步优化3D对象。ControlNet refiner通过多视角渲染和场景坐标渲染器增强对象的外观细节,而几何一致性损失确保不同视角下的对象颜色和形状保持一致。
具体应用场景:
- 虚拟现实(VR)和增强现实(AR): DreamPolisher可以用于创建VR和AR应用中的高质量3D内容,提供更加沉浸式的用户体验。
- 游戏开发: 游戏开发者可以使用DreamPolisher根据文本描述快速生成游戏中的角色、道具和环境,加速游戏制作过程。
- 电影和动画制作: 电影制作人员可以利用DreamPolisher根据剧本描述生成复杂的3D场景和角色模型,提高制作效率。
- 建筑设计: 建筑师和设计师可以使用DreamPolisher根据设计说明创建建筑物和室内装饰的3D模型,进行可视化和评估。
DreamPolisher是一种强大的文本到3D生成工具,它通过结合几何引导和多阶段优化,能够高效地创造出细节丰富且视角一致的三维对象。
评论0