深圳大学的研究团队提出了一种名为 Attention Distillation 的方法,该方法可以将参考图像的视觉特征(如风格、纹理和外观)转移到生成的图像中。这种方法为图像生成任务提供了更灵活的控制能力,使得生成的图像能够更好地融合参考图像的风格。(相关:深圳大学推出Attention Distillation:用于将参考图像的视觉特征(如风格、纹理、外观)转移到生成的图像中)
为了进一步扩展其应用范围,研究团队将 Attention Distillation 集成到了 ComfyUI 中。此插件利用了 Hugging Face 的 diffusers 库,允许用户在 ComfyUI 的工作流中轻松实现风格迁移和其他相关任务。
安装指南
将此存储库下载或 git clone 到 ComfyUI/custom_nodes/ 目录中,或使用管理器进行简化的设置。
cd custom_nodes
git clone ...
cd custom_nodes/ComfyUI-AttentionDistillation
pip install -r requirements.txt
重新启动 ComfyUI
如何使用
下载模型
此插件基于 diffusers 实现,因此需要下载支持的模型并放置在 ComfyUI 的模型目录中。目前仅支持以下模型:
模型 | 地址 |
---|---|
Stable Diffusion (v1.5, v2.1) | stable-diffusion-v1-5/stable-diffusion-v1-5 stabilityai/stable-diffusion-2-1 |
SDXL | stabilityai/stable-diffusion-xl-base-1.0 |
将下载的模型文件解压后,放置在以下路径中:ComfyUI/models/diffusers
注意:尽管 SDXL 被提及,但当前版本可能仅完全支持 Stable Diffusion v1.5。请确保使用正确的模型。
加载工作流程
插件附带了一些预定义的工作流文件,您可以直接加载这些文件来快速开始。工作流文件位于以下目录中:ComfyUI/custom_nodes/Comfy-Attention-Distillation/workflows
示例
1. 风格特定的文本到图像生成
通过指定参考图像的风格,您可以生成具有特定视觉效果的图像。

2. 风格迁移
您可以将一张参考图像的风格迁移到另一张图像上。

注意事项
- 模型限制:当前版本仅支持 Stable Diffusion v1.5 和 SDXL。如果您尝试使用其他模型,可能会遇到兼容性问题。
- 性能优化:如果您发现生成速度较慢,可以尝试调整 GPU 内存分配或减少推理步骤数。
- 参考图像选择:选择高质量且风格鲜明的参考图像可以显著提升生成效果。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...