在使用Stable Diffusion进行AI绘画的时候，最常用的除了大模型应该就是LoRA模型，你知道LoRA是是什么吗？你知道LoRA技术其实最初是由微软技术人员为了解决大语言模型微调而开发的吗？今天我们就来看看吧！
LoRA是什么？
LoRA是微软技术人员于2021年为解决大语言模型微调而开发的一项技术，用于大语言模型在特定任务或领域上的高效适应，这是一种既节省资源又保持高性能的解决方案。具体可参考：LoRA：为解决大语言模型微调而开发
用于Stable Diffusion的 LoRA
尽管 LoRA 最初是为大模型提出的，并在 transformer 块上进行了演示，但该技术也可以应用于其他地方。在微调 Stable Diffusion 的情况下，LoRA 可以应用于将图像表示与描述它们的提示相关联的交叉注意层。下图的细节 (摘自 Stable Diffusion 论文) 并不重要，只需要注意黄色块是负责建立图文之间的关系表示就行。Simo Ryu (@cloneofsimo) 是第一个提出适用于 Stable Diffusion 的 LoRA 实现的人。
简单易懂的解释LoRA
对于上面的专业词汇看不明白，没关系！想象你有一套高级的多功能厨房工具，能够烹饪各种美食（这就像是SD大模型，具备广泛的基础绘画能力）。但现在，你想专门用这套工具来制作一种特色披萨（特定任务或风格）。
- 传统方法：为了制作这种披萨，你可能需要更换或改造很多工具，比如调整烤箱温度、更换切割刀具等。这样做既耗时又可能损害工具原有的多功能性。
- LoRA方法：与其大费周章地改造整套工具，不如添加几个专门为制作这种披萨设计的“小工具”。比如一个特制的披萨切割器或烤箱温度调节器。这些“小工具”轻巧且易于安装，能够迅速将你的厨房工具转变为制作特色披萨的专用设备，而无需对整个系统进行大规模改动。
简单来说LoRA模型能够高效地调整大模型以适应新任务或风格，而无需全面修改模型的所有参数。
案例说明
如果上面的类比，你还不明白，那我用简单的比喻来形容LoRA模型，那就是「滤镜」。
下面两张图是使用同样的大模型、提示词与种子生成。左图是没加LoRA，右侧是加了涂鸦海报漫画风格LoRA，两张图是不是看起来完全不一样了？这像不像直播的滤镜呢？
这就是LoRA 的作用，如果你觉得大模型出图没有达到你的要求，可以尝试添加LoRA改变风格、添加细节，一个大模型可以搭配多个LoRA。
添加 LoRA 模型的时候，注意该模型参数设置、是否有触发词、是否是针对某个大模型专门训练的。
在哪里可以找到LoRA模型
首选自然Civitai，如果的网络环境不允许，国内的平台首推LiblibAI，下载后的LoRA模型，SDWeb UI放置在models\Lora文件夹下，ComfyUI则是放在models\loras文件夹下。具体使用方法在Stable Diffusion web UI和ComfyUI会详细说明。
评论0