能够将真实或卡通风格的衣物“穿”到真人身上的虚拟试衣工作流

B站UP主汤团猪近期训练了一个基于FLUX.1-dev的服装匹配迁移IC-LoRA模型，并结合阿里妈妈推出的图像修复ControlNet模型，构建了一套能够将真实或卡通风格的衣物“穿”到真人身上的虚拟试衣工作流，为你带来全新的试衣体验。（相关：阿里通义团队推出图像生成新型框架In-Context LoRA）

• 工作流地址：https://github.com/TTPlanetPig/Comfyui_Object_Migration

技术亮点

• 核心模型：基于FLUX.1-dev的服装匹配迁移Lora模型，能有效实现衣物风格的迁移。
• 图像修复：采用阿里妈妈的图像修复ControlNet模型，确保衣物贴合度与自然度。
• 高效插件：利用汤团猪开发的三个ComfyUI插件，简化操作流程，提高用户体验。

然而，值得注意的是，这套工作流对硬件配置有一定要求，特别是显存方面。即便是经过部分节点优化后，16GB以下显存的显卡仍存在爆显存的风险。

使用指南

准备工作

1、软件环境：

• 安装ComfyUI，这是运行模型所必需的基础平台。
• 添加自定义节点：确保安装了UP主开发的ComfyUI_TTP_Toolset以及ComfyUI_JC2插件。
• 获取阿里妈妈的flux修复模型，用于增强图像处理效果。

2、模型下载：

• 访问Hugging Face项目页面，从Migration LoRA文件夹中下载Cloth LoRA模型。

操作步骤

1. 将下载的Cloth LoRA模型导入至ComfyUI环境中。
2. 参考官方提供的流程示例，开始尝试将不同风格的衣物应用到目标人物上。
3. 根据实际运行情况调整参数设置，如选用不同的flux版本以平衡性能与效果，或利用FluxExt-MZ等内存优化节点提升效率。

注意事项

• 在选择flux版本时需谨慎考虑，因为加载阿里妈妈的flux修复模型会增加显存消耗，可能导致性能下降。
• 若发现运行速度缓慢，建议尝试降低分辨率或其他方式减少计算量。