NCSOFT 图形 AI 实验室、韩国大学计算机科学与工程系和韩国中央大学图像系的研究人员推出一种稳健的文本到纹理方法RoCoTex，它是一种用于生成高质量、一致性强的3D模型纹理的方法。简单来说，RoCoTex能够根据文字描述自动创建出看起来非常自然和真实的纹理，并将其贴合到3D模型上，就像给3D模型穿上合适的“外衣”。
RoCoTex用于生成与网格一致且无缝的纹理。RoCoTex利用最先进的2D扩散模型，包括SDXL和多个ControlNets，来捕捉生成纹理中的结构特征和复杂细节。该方法还采用了对称视角合成策略与区域提示相结合，以提高视角一致性。此外，它还引入了新的纹理混合和软修复技术，显著减少了接缝区域。
例如，你是一名游戏开发者，需要为游戏中的古代城堡生成纹理。你可以给RoCoTex一个文本描述，如“中世纪城堡的石墙”，它将生成与这个描述相匹配的纹理，并将其贴合到3D模型上，创造出令人信服的城堡外观。这个过程不需要手动绘制纹理，节省了大量的时间和资源。
主要功能：
- 文本到纹理的生成：用户可以提供文本提示，RoCoTex据此生成相应的纹理。
- 纹理与3D模型的对齐：生成的纹理能够很好地与3D模型的表面结构对齐。
- 消除纹理接缝：减少或消除纹理之间的接缝，使纹理看起来更加自然。
主要特点：
- 对称视角合成：通过同时生成对称的两个视角的纹理来提高视图一致性。
- 区域提示：使用区域提示来增强视角一致性，并减少“双面神”问题（Janus problem）。
- SDXL与多个ControlNets：使用更强大的Stable Diffusion XL（SDXL）模型和多个控制网络来理解3D模型的几何结构。
- 纹理融合与软修复技术：使用基于像素置信度的纹理融合技术和基于差分扩散的软修复技术来减少接缝。
工作原理：
RoCoTex使用2D扩散模型，包括SDXL和多个ControlNets，来捕捉生成纹理中结构化特征和细节。它采用对称视图合成策略和区域提示来增强视图一致性。此外，它还引入了基于像素置信度的纹理融合技术和基于差分扩散的软修复技术，这些技术可以显著减少接缝区域。
具体应用场景：
- 游戏开发：为游戏中的3D角色和环境生成高质量的纹理。
- 电影制作：用于生成电影中使用的3D模型的纹理，提高视觉效果。
- 虚拟现实（VR）和增强现实（AR）：在VR或AR应用中创建逼真的3D对象。
评论0