上海科技大学、宾夕法尼亚大学、影眸科技和赜深科技推出3D服装生成框架DressCode,它能够根据文本指导生成具有缝纫图案和基于物理渲染(PBR)纹理的服装。这项技术对于数字化人类创建、时尚设计、虚拟试穿和3D内容创作等领域具有重要意义。
在DressCode中,开发人员首先引入了SewingGPT,一个基于GPT的架构,结合了跨注意力与文本条件嵌入,以文本指导生成缝纫图案。开发人员还定制了一个预训练的Stable Diffusion模型,用于生成高质量的基于贴图的PBR纹理。通过利用大语言模型,DressCode通过自然语言交互生成适合计算机图形的服装。DressCode还促进了图案的完善和纹理编辑,通过用户友好的交互简化了设计过程。这个框架通过允许创作者自由尝试设计和将独特元素融入其作品,从而激发新的想法和艺术可能性,促进了创新。
例如,你是一位时尚设计师,想要创造一款新的衣服,但你可能不需要绘画或使用复杂的3D建模软件。使用DressCode,你只需要用自然语言描述你想要的服装设计,比如“一件带有荷叶边领口的复古风格连衣裙”,这个系统就能自动生成衣服的3D模型,包括衣服的缝纫图案和纹理。这样,你就可以在电脑上直观地看到设计成果,甚至可以将它用于3D动画或游戏中的角色服装。
主要功能:
- 文本驱动的3D服装生成:用户可以通过简单的文本提示来生成服装的3D模型。
- 生成缝纫图案:系统能够理解文本描述并生成相应的缝纫图案。
- 生成PBR纹理:为服装生成逼真的纹理,包括漫反射贴图、法线贴图和粗糙度贴图。
主要特点:
- 自动化:简化了服装设计过程,使得没有专业技能的用户也能轻松创建服装。
- 高质量渲染:生成的服装模型适合高质量的3D渲染。
- 交互式应用:支持服装生成、补全和编辑等交互式应用。
工作原理:
- 缝纫图案量化:将缝纫图案的参数转换为一系列的量化标记(tokens)。
- 自回归模型生成:使用基于GPT(Generative Pre-trained Transformer)的架构,通过文本条件嵌入来生成这些量化标记的序列。
- 纹理生成:利用预训练的Stable Diffusion模型,通过文本提示生成PBR纹理。
- 用户友好的交互:通过大型语言模型,使用自然语言与生成器进行交互,生成形状提示和纹理提示。
具体应用场景:
- 时尚设计:设计师可以通过文本描述快速生成和修改服装设计。
- 虚拟试穿:在虚拟试穿应用中,用户可以输入自己想要的衣服样式,系统生成3D模型后,可以模拟穿在虚拟角色上。
- 数字人类创建:在创建3D虚拟角色时,可以为角色设计和生成服装。
- 3D内容创作:在电影、游戏和动画制作中,快速生成服装模型,提高生产效率。
DressCode通过自然语言处理和3D图形技术的结合,为服装设计和3D内容创作提供了一个创新的工具,使得设计过程更加直观和便捷。
评论0