MVEdit：用于3D对象合成和编辑的通用3D扩散适配器

来自斯坦福大学、加州大学圣地亚哥分校和Apparate Labs的研究人员推出MVEdit，这是一个用于3D对象合成和编辑的通用3D扩散适配器。

MVEdit的核心功能是将2D图像转换成高质量的3D模型，并允许用户对这些模型进行编辑和纹理生成。这个过程是通过控制多视角编辑来实现的，意味着它可以处理从不同角度拍摄的图像，并将它们融合成一个连贯的3D表示。

主要功能：

• 3D对象合成： MVEdit能够根据文本描述或已有的2D图像生成3D对象。

• 3D编辑： 用户可以对生成的3D模型进行编辑，比如改变形状、添加细节或者更改纹理。

• 纹理生成： MVEdit还可以根据文本指导或图像引导来生成高质量的纹理，覆盖在3D模型上。

主要特点：

• 训练免费： MVEdit不需要对3D适配器进行额外训练，可以直接使用现成的2D扩散模型。

• 高质量输出： 通过优化的3D表示和渲染技术，MVEdit能够产生具有高视觉质量的3D模型和纹理。

• 快速推理： MVEdit的推理时间只需几分钟，实现了在保持质量的同时提高效率。

工作原理：MVEdit的工作原理分为几个步骤：

1. 初始化： 根据输入的文本或图像，MVEdit首先生成一个初始的3D表示，这通常是一个粗糙的网格或体积场。
2. 多视角编辑： 通过控制多视角编辑，MVEdit将2D图像融合成3D表示，并在连续的去噪步骤中改善这个表示。
3. 优化： 使用基于优化的方法，如InstantNGP或DMTet，来细化3D表示，使其更加清晰和连贯。
4. 渲染和输出： 最终，MVEdit渲染出高质量的3D模型和纹理，并可以输出为可用的3D格式。