上海科技大学、宾夕法尼亚大学、影眸科技和赜深科技推出3D服装生成框架DressCode，它能够根据文本指导生成具有缝纫图案和基于物理渲染（PBR）纹理的服装。这项技术对于数字化人类创建、时尚设计、虚拟试穿和3D内容创作等领域具有重要意义。
在DressCode中，开发人员首先引入了SewingGPT，一个基于GPT的架构，结合了跨注意力与文本条件嵌入，以文本指导生成缝纫图案。开发人员还定制了一个预训练的Stable Diffusion模型，用于生成高质量的基于贴图的PBR纹理。通过利用大语言模型，DressCode通过自然语言交互生成适合计算机图形的服装。DressCode还促进了图案的完善和纹理编辑，通过用户友好的交互简化了设计过程。这个框架通过允许创作者自由尝试设计和将独特元素融入其作品，从而激发新的想法和艺术可能性，促进了创新。
例如，你是一位时尚设计师，想要创造一款新的衣服，但你可能不需要绘画或使用复杂的3D建模软件。使用DressCode，你只需要用自然语言描述你想要的服装设计，比如“一件带有荷叶边领口的复古风格连衣裙”，这个系统就能自动生成衣服的3D模型，包括衣服的缝纫图案和纹理。这样，你就可以在电脑上直观地看到设计成果，甚至可以将它用于3D动画或游戏中的角色服装。
主要功能：
- 文本驱动的3D服装生成：用户可以通过简单的文本提示来生成服装的3D模型。
- 生成缝纫图案：系统能够理解文本描述并生成相应的缝纫图案。
- 生成PBR纹理：为服装生成逼真的纹理，包括漫反射贴图、法线贴图和粗糙度贴图。
主要特点：
- 自动化：简化了服装设计过程，使得没有专业技能的用户也能轻松创建服装。
- 高质量渲染：生成的服装模型适合高质量的3D渲染。
- 交互式应用：支持服装生成、补全和编辑等交互式应用。
工作原理：
- 缝纫图案量化：将缝纫图案的参数转换为一系列的量化标记（tokens）。
- 自回归模型生成：使用基于GPT（Generative Pre-trained Transformer）的架构，通过文本条件嵌入来生成这些量化标记的序列。
- 纹理生成：利用预训练的Stable Diffusion模型，通过文本提示生成PBR纹理。
- 用户友好的交互：通过大型语言模型，使用自然语言与生成器进行交互，生成形状提示和纹理提示。
具体应用场景：
- 时尚设计：设计师可以通过文本描述快速生成和修改服装设计。
- 虚拟试穿：在虚拟试穿应用中，用户可以输入自己想要的衣服样式，系统生成3D模型后，可以模拟穿在虚拟角色上。
- 数字人类创建：在创建3D虚拟角色时，可以为角色设计和生成服装。
- 3D内容创作：在电影、游戏和动画制作中，快速生成服装模型，提高生产效率。
DressCode通过自然语言处理和3D图形技术的结合，为服装设计和3D内容创作提供了一个创新的工具，使得设计过程更加直观和便捷。
评论0