基于两阶段高斯溅射的3D模型DreamPolisher:基于文本描述生成三维(3D)对象

来自牛津大学的研究人员推出DreamPolisher,它是一种基于文本描述生成三维(3D)对象的方法。这是一种基于两阶段高斯溅射的方法,该方法强制各视图之间的几何一致性。首先,通过几何优化对粗略的3D生成进行细化。随后,我们使用由ControlNet驱动的细化器,结合几何一致性项,以提高生成3D资产的纹理保真度和整体一致性。

例如,你只需给计算机一个描述,比如“一个穿着标志性工作服、戴着红色帽子和白色手套的马里奥3D模型”,DreamPolisher就能够根据这个描述创建出一个详细的三维马里奥模型。

主要功能和特点:

  1. 高质量生成: DreamPolisher能够根据文本描述生成高分辨率、细节丰富的3D对象。
  2. 视角一致性: 该技术确保从不同角度查看生成的3D对象时,它们的外观是一致的,这对于创建逼真的三维场景非常重要。
  3. 几何引导: 通过几何优化和一致性约束,DreamPolisher提高了生成模型的几何精度和纹理细节。
  4. 两阶段优化: 首先通过粗略优化生成3D对象的大致形状,然后通过控制网络(ControlNet)和几何一致性损失进一步细化模型。

工作原理:

DreamPolisher的工作流程分为两个阶段。第一阶段,它使用预训练的文本到点云模型(如Point-E)根据文本描述生成一个粗略的3D点云,这些点云被用来初始化3D高斯体。然后,通过3D高斯投影和文本到图像的扩散模型引导,对这些高斯体进行优化。 第二阶段,为了提高生成对象的细节和视角一致性,DreamPolisher使用ControlNet refiner和新的几何一致性损失来进一步优化3D对象。ControlNet refiner通过多视角渲染和场景坐标渲染器增强对象的外观细节,而几何一致性损失确保不同视角下的对象颜色和形状保持一致。

具体应用场景:

  1. 虚拟现实(VR)和增强现实(AR): DreamPolisher可以用于创建VR和AR应用中的高质量3D内容,提供更加沉浸式的用户体验。
  2. 游戏开发: 游戏开发者可以使用DreamPolisher根据文本描述快速生成游戏中的角色、道具和环境,加速游戏制作过程。
  3. 电影和动画制作: 电影制作人员可以利用DreamPolisher根据剧本描述生成复杂的3D场景和角色模型,提高制作效率。
  4. 建筑设计: 建筑师和设计师可以使用DreamPolisher根据设计说明创建建筑物和室内装饰的3D模型,进行可视化和评估。

DreamPolisher是一种强大的文本到3D生成工具,它通过结合几何引导和多阶段优化,能够高效地创造出细节丰富且视角一致的三维对象。

0

评论0

没有账号?注册  忘记密码?