ComfyUI-CatvtonFluxWrapper 是一个专为 ComfyUI 设计的插件，它基于 CATVTON-FLUX 这一虚拟试穿解决方案。CATVTON-FLUX是结合了 CATVTON 和 FLUX.1 Fill模型 的力量，能够实现真实且准确的服装转移。此外，该插件还受到了 In-Context LoRA 的启发，用于提示工程，进一步提升了模型的表现。
- 插件地址：https://github.com/lujiazho/ComfyUI-CatvtonFluxWrapper
- CATVTON-FLUX地址：https://github.com/nftblackmagic/catvton-flux
- Demo：https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on
CATVTON-FLUX 的核心技术
- CATVTON：这是一个基于深度学习的虚拟试穿系统，能够将服装从一张图像转移到另一张人体图像上，同时保持服装的形状、纹理和细节。
- FLUX.1 Fill模型 ：该模型专注于修复和优化服装转移过程中可能出现的细节问题，确保最终结果更加自然和逼真。它特别擅长处理服装的小细节和文本，使得转移后的服装看起来更加真实。
CATVTON-FLUX最新更新（2024年11月26日）
1. 更新了权重
- 训练数据：目前，CATVTON-FLUX 仍然仅使用 VITON-HD 数据集 进行训练。VITON-HD 是一个高质量的虚拟试穿数据集，包含了大量的服装和人体图像对，确保了模型在各种场景下的泛化能力。
2. 减少了微调权重的大小
- 压缩比例：通过优化模型结构和参数，开发团队成功将微调模型的大小从 46GB 减少到 23GB。这一改进不仅节省了存储空间，还提高了模型的加载速度和运行效率，使得用户可以在更多的设备上轻松部署和使用。
3. 权重在服装小细节/文本上表现更好
- 细节优化：经过这次更新，模型在处理服装上的小细节（如纽扣、拉链、图案等）以及文本（如品牌标志、标签等）时表现出色。这使得虚拟试穿的结果更加逼真，用户可以更清晰地看到服装的每一个细节。
4. 添加了 Hugging Face ZeroGPU 支持
- 云平台支持：现在，用户可以通过 Hugging Face Spaces 在云端运行 CATVTON-FLUX-TRY-ON，而无需依赖本地 GPU。这意味着即使没有强大的硬件支持，用户也可以轻松体验高质量的虚拟试穿功能。Hugging Face 的 ZeroGPU 技术允许模型在不占用大量计算资源的情况下高效运行，极大地降低了使用的门槛。
评论0