3D内容生成模型Magic-Boost：将粗糙的3D模型转换成高质量的3D模型

来自南洋理工大学和字节跳动的研究人员推出新型3D内容生成模型Magic-Boost，它能够将粗糙的3D模型转换成高质量的3D资产。Magic-Boost是一种多视角条件扩散模型。它能够通过短暂的SDS优化（约15分钟）显著改进粗糙的生成结果。与先前的基于文本或单张图像的扩散模型相比，Magic-Boost展现出强大的能力，能够从伪合成的多视角图像中生成高度一致的图像。它提供了精确的SDS指导，与输入图像的身份保持一致，从而丰富了初始生成结果在几何和纹理方面的细节。大量实验表明，Magic-Boost极大地提升了粗糙的输入质量，并生成了具有丰富几何和纹理细节的高质量3D资产。

• 项目主页：https://magic-research.github.io/magic-boost
• GitHub：https://github.com/magic-research/magic-boost

例如，你有一张图片和一个由其他软件生成的粗糙的3D模型，Magic-Boost可以在大约15分钟内，将这两个输入转换成一个细节丰富、纹理真实的高质量3D对象。Magic-Boost是一个强大的工具，它结合了现有的2D图像生成技术和3D建模，为快速生成高质量的3D内容提供了新的可能性。

主要功能和特点：

1. 多视角条件扩散模型： Magic-Boost使用多视角图像作为输入，这些图像是从现有的2D扩散模型中生成的，以此来隐式编码3D信息。
2. 高质量3D增强： 相比于以往的文本或单图像基础的扩散模型，Magic-Boost能够生成具有高一致性的图像，并且提供精确的优化指导，以丰富初始生成结果的局部细节。
3. 快速优化： 该模型可以在大约15分钟内显著提升粗糙的3D输出，生成具有丰富几何和纹理细节的高质量3D资产。

工作原理：

1. 使用多视角输入： Magic-Boost接收由Instant3D生成的伪多视角图像和粗糙的3D结果作为输入。
2. 提取局部特征： 模型使用去噪U-Net在固定的时步提取密集的局部特征，并采用自注意力机制来促进不同视角之间的信息交换。
3. SDS优化： 通过Score Distillation Sampling (SDS) 优化，模型在短暂的时间内对粗糙的3D模型进行细化，生成高分辨率和高质感的3D内容。

具体应用场景：

1. 3D打印和制造： Magic-Boost可以用来生成高质量的3D模型，适用于3D打印和制造行业。
2. 游戏和电影： 在游戏和电影制作中，Magic-Boost可以用来快速生成高质量的3D角色和场景。
3. 虚拟现实和增强现实： 对于VR和AR应用，Magic-Boost可以创建逼真的3D对象，提升用户体验。