MaPa：根据文本描述为3D模型生成逼真的材质

来自浙江大学、蚂蚁集团和深圳大学的研究人员推出MaPa，它能够根据文本描述为3D模型生成逼真的材质。与传统的纹理贴图不同，MaPa通过生成程序化的材质图（material graphs）来表示3D模型的外观，这种方法不仅支持高质量的渲染，还提供了编辑上的灵活性。

• 项目主页：https://zhanghe3z.github.io/MaPa
• 论文地址：https://arxiv.org/abs/2404.17569

开发人员提出了一项技术，用以构建按区域划分的程序化材质图作为外观表现形式，此技术不仅促进了高保真渲染，还极大增强了在编辑过程中的可调整性。开发人员借助预训练的二维扩散模型，构建起从文本描述到材质图的桥梁，这一过程无需依赖大规模配对数据集——即同时包含材质图及其对应文本描述的三维网格模型。具体实施上，MaPa首先将模型形状拆分为多个独立片段，随后运用一种片段导向的扩散模型来生成与网格各部分精确匹配的二维图像。依据这些图像，系统初始化材质图的参数，并借助差异渲染机制进行参数微调，确保最终材质效果与文本描述精准相符。

例如，你是一名游戏设计师，需要为游戏中的一把剑设计材质。你可以通过MaPa输入文本描述，比如“一把闪耀着寒光的金属剑”，MaPa将根据这段描述生成剑的材质图，包括剑身的金属质感和光泽。然后，你可以在3D渲染软件中应用这些材质，得到一把逼真的3D剑模型，用于游戏场景中。如果你想要调整剑的材质，比如让剑身看起来更有磨损感，你可以编辑材质图，添加一些纹理和细节，而无需从头开始设计。

主要功能：

• 文本驱动的材质生成：用户可以输入一段描述性文本，MaPa将根据这段文本生成相应的3D材质。
• 高真实感渲染：生成的材质能够用于高质量的3D渲染，使3D模型看起来更加逼真。
• 编辑灵活性：用户可以方便地编辑和调整生成的材质图，以适应不同的设计需求。

主要特点：

• 程序化材质图：MaPa使用程序化的材质图来表示3D模型的外观，这种方法在计算机图形学中非常流行，能够生成高分辨率、可平铺且逼真的材质。
• 无需成对数据：与需要大量成对数据（3D模型和文本描述）的方法不同，MaPa利用预训练的2D扩散模型作为桥梁，连接文本和材质图。
• 分段控制的图像生成：MaPa将3D模型分解为多个分段，并为每个分段生成对应的2D图像，然后基于这些图像初始化材质图的参数。

工作原理：

1. 形状分解：首先将3D模型分解为多个分段。
2. 2D图像生成：然后，这些分段被投影到2D空间，并使用分段控制的扩散模型生成与模型部分对齐的2D图像。
3. 材质图初始化与优化：基于生成的2D图像，初始化材质图的参数，并通过可微分渲染模块进行微调，以产生与文本描述相符的材质。

具体应用场景：

• 3D内容创作：在视频游戏、电影和虚拟现实（VR/AR）中，MaPa可以用于快速生成3D模型的材质，提高内容创作的效率。
• 产品设计：设计师可以使用MaPa快速生成产品模型的材质，进行概念验证和设计迭代。
• 虚拟展示：在线商城或展览中，MaPa可以帮助创建逼真的3D模型，提升用户体验。