来自中国人民大学、清华大学和快手的研究人员推出新型3D生成算法MicroDreamer，它能够在大约20秒内生成高质量的3D模型，而无需任何3D数据。这项技术基于一种称为“基于分数的迭代重建”（Score-based Iterative Reconstruction, SIR）的方法，它通过重复优化3D参数来减少生成3D对象所需的函数评估次数（Function Evaluations, NFEs），从而提高了零样本（zero-shot）3D生成的效率。该方法普遍适用于各种3D表示和3D生成任务。特别是，在保持可比性能的同时，MicroDreamer在生成神经辐射场方面比SDS快5-20倍，并且在单个A100 GPU上使用3D高斯分割从高斯噪声生成网格大约需要20秒，比最快的零次学习基线DreamGaussian快了一半的时间。
例如，你是一名游戏设计师，需要快速将概念艺术转换为3D模型。使用MicroDreamer，你只需提供一张概念图或一个描述性的文本，算法就能在几十秒内生成一个3D模型，大大加快了从概念到原型的迭代过程。
主要功能
- 零样本3D生成：从文本描述或单张图片生成3D模型，无需额外的3D数据。
- 快速迭代重建：通过迭代优化3D参数，快速生成3D内容。
主要特点
- 高效率：相比现有的基于优化的方法，如分数蒸馏采样（Score Distillation Sampling, SDS），MicroDreamer在生成神经辐射场（Neural Radiance Fields, NeRF）时速度提高了5到20倍。
- 多视图扩散模型：利用预训练的多视图扩散模型生成一致的多视图图像。
- 像素空间优化：在像素空间而非潜在空间进行优化，进一步提高了效率。
工作原理
- 初始化：使用直接重建方法初始化3D资产。
- 迭代优化：通过随机选择多个相机视角，使用渲染函数获取当前3D对象的多视图图像，然后通过扩散模型进行优化。
- 像素空间优化：利用扩散模型的逆过程将图像映射回像素空间，从而在像素空间进行优化，提高了优化速度。
具体应用场景
- 文本到3D：从文本描述生成3D模型，适用于虚拟现实（VR）和增强现实（AR）应用。
- 图像到3D：从单张图片生成3D模型，适用于3D打印、游戏开发和电影特效制作。
- 内容创建：在没有3D数据的情况下，快速生成3D内容，适用于快速原型设计和创意表达。
评论0