新型3D生成框架GaussianAnything：根据单视图图像或文本条件生成高质量且可编辑的3D模型

新加坡南洋理工大学、上海人工智能实验室和北京大学的研究人员推出新型3D生成框架GaussianAnything，它能够根据单视图图像或文本条件生成高质量且可编辑的3D模型。这个框架通过一个级联的3D扩散管道工作，使用变分自编码器（VAE）将多视角的RGB-D（深度）-N（法线）渲染图像作为输入，并通过一个独特的潜在空间设计来保留3D形状信息，同时结合级联潜在扩散模型以改善形状和纹理的分离。

• 项目主页：https://nirvanalan.github.io/projects/GA
• GitHub：https://github.com/NIRVANALAN/GaussianAnything

例如，你想要创建一个3D模型，比如一个宇航员的服装和头盔。你可以提供一张宇航员的图片或者描述宇航员的文本，GaussianAnything框架能够根据这些输入生成一个详细的3D模型，并且你可以对这个模型进行进一步的编辑和调整。

主要功能：

1. 多模态条件3D生成： 支持从点云、文本描述和单/多视图图像输入生成3D模型。
2. 几何-纹理分离： 新提出的潜在空间自然支持几何和纹理的分离，允许3D感知编辑。
3. 高质量3D模型生成： 通过级联潜在扩散模型生成高分辨率的3D模型。

主要特点：

1. 可扩展性和高质量： 提供可扩展的、高质量的3D内容生成。
2. 交互式3D编辑： 允许用户对生成的3D模型进行交互式编辑。
3. 级联3D扩散模型： 通过级联模型提高形状和纹理的分离效果。

工作原理

GAUSSIANANYTHING的工作原理包括以下几个步骤：

1. 3D VAE编码： 使用多视角RGB-D-N渲染图像作为输入，通过变分自编码器（VAE）编码成点云结构的潜在空间。
2. 级联潜在扩散模型： 在潜在空间上进行级联扩散建模，首先训练一个点云扩散模型来确定输入形状的整体布局，然后训练一个点云特征扩散模型来输出相应的特征。
3. 3D解码： 使用预训练的VAE将潜在代码解码成surfel高斯（Surfel Gaussians），这是一种支持高保真3D表面建模和高效渲染的增强型基于点的3D表示。

具体应用场景

1. 虚拟现实和游戏： 在虚拟现实和游戏中创建高质量的3D模型和环境。
2. 电影和娱乐： 用于电影制作中的特效和3D场景生成。
3. 3D打印和制造： 设计和定制3D打印对象，如家具、机械零件等。
4. 教育和培训： 创建教育用的3D模型，用于教学和模拟训练。
5. 艺术和设计： 艺术家和设计师可以利用这个工具进行3D创作的原型设计和迭代。