ComfyUI-Attention-Distillation:将参考图像的视觉特征(如风格、纹理和外观)转移到生成的图像中

插件7天前发布 小马良
13 0

深圳大学的研究团队提出了一种名为 Attention Distillation 的方法,该方法可以将参考图像的视觉特征(如风格、纹理和外观)转移到生成的图像中。这种方法为图像生成任务提供了更灵活的控制能力,使得生成的图像能够更好地融合参考图像的风格。(相关:深圳大学推出Attention Distillation:用于将参考图像的视觉特征(如风格、纹理、外观)转移到生成的图像中

为了进一步扩展其应用范围,研究团队将 Attention Distillation 集成到了 ComfyUI 中。此插件利用了 Hugging Face 的 diffusers 库,允许用户在 ComfyUI 的工作流中轻松实现风格迁移和其他相关任务。

安装指南

将此存储库下载或 git clone 到 ComfyUI/custom_nodes/ 目录中,或使用管理器进行简化的设置。

cd custom_nodes
git clone ...
cd custom_nodes/ComfyUI-AttentionDistillation
pip install -r requirements.txt
重新启动 ComfyUI

如何使用

下载模型

此插件基于 diffusers 实现,因此需要下载支持的模型并放置在 ComfyUI 的模型目录中。目前仅支持以下模型:

模型 地址
Stable Diffusion (v1.5, v2.1) stable-diffusion-v1-5/stable-diffusion-v1-5
stabilityai/stable-diffusion-2-1
SDXL stabilityai/stable-diffusion-xl-base-1.0

将下载的模型文件解压后,放置在以下路径中:ComfyUI/models/diffusers

注意:尽管 SDXL 被提及,但当前版本可能仅完全支持 Stable Diffusion v1.5。请确保使用正确的模型。

加载工作流程

插件附带了一些预定义的工作流文件,您可以直接加载这些文件来快速开始。工作流文件位于以下目录中:ComfyUI/custom_nodes/Comfy-Attention-Distillation/workflows

示例

1. 风格特定的文本到图像生成

通过指定参考图像的风格,您可以生成具有特定视觉效果的图像。

ComfyUI-Attention-Distillation:将参考图像的视觉特征(如风格、纹理和外观)转移到生成的图像中

2. 风格迁移

您可以将一张参考图像的风格迁移到另一张图像上。

ComfyUI-Attention-Distillation:将参考图像的视觉特征(如风格、纹理和外观)转移到生成的图像中

注意事项

  1. 模型限制:当前版本仅支持 Stable Diffusion v1.5 和 SDXL。如果您尝试使用其他模型,可能会遇到兼容性问题。
  2. 性能优化:如果您发现生成速度较慢,可以尝试调整 GPU 内存分配或减少推理步骤数。
  3. 参考图像选择:选择高质量且风格鲜明的参考图像可以显著提升生成效果。
© 版权声明

相关文章

暂无评论

none
暂无评论...