来自Snap、沙特阿卜杜拉国王科技大学、多伦多大学的研究人员推出一款3D模型生成框架AToM（Amortized Text-to-Mesh），AToM的核心特点是能够同时优化多个文本提示（prompts），这意味着它可以在训练过程中学习如何从不同的文本描述生成相应的3D模型，而不需要为每个提示单独进行耗时的优化。这种方法显著提高了生成效率，并且能够生成高质量的纹理网格，同时在训练成本上实现了大约10倍的减少。
主要功能和特点：
- 多文本提示优化：AToM能够同时处理多个文本提示，这使得它在生成3D模型时更加高效，并且能够泛化到未见过的提示。
- 高质量的纹理网格：AToM能够生成具有丰富细节和纹理的3D网格模型，这些模型在视觉上非常吸引人。
- 快速生成：AToM在推理阶段（即从文本到3D模型的转换过程）非常快速，可以在不到1秒的时间内完成。
- 两阶段优化策略：AToM采用了一种新颖的两阶段优化策略，首先使用低分辨率的体积渲染进行训练，然后通过高分辨率的网格渲染进行细化，以提高模型的稳定性和生成质量。
工作原理：
AToM的工作流程分为两个阶段：
- 第一阶段（体积优化）：在这个阶段，AToM使用体积渲染技术来训练模型，这有助于稳定优化过程。模型会学习如何从文本描述生成初步的3D网格表示。
- 第二阶段（网格优化）：在这个阶段，模型会进一步细化网格，通过高分辨率渲染来提高几何和纹理的质量。这个过程利用了在第一阶段训练好的网络，使得整个系统能够快速生成高质量的3D模型。
AToM通过其高效的训练过程和高质量的输出，为3D内容的生成提供了一个强大的工具，特别是在需要快速迭代和多样化设计的场景中。
评论0