分辨率适配器ResAdapte：解决SD模型生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题

字节跳动推出ResAdapter，它是一个用于SD模型的分辨率适配器，可以生成任意风格领域的图像，并且能够在不同的分辨率下保持图像的一致性和质量。

简单来说，可以解决SD模型生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。同时可以与现有的IPadapter以及Controlnet模型兼容。

主要功能：

ResAdapter的主要功能是让扩散模型（如Stable Diffusion）能够生成不同分辨率的图像，无论是低于还是高于训练时的分辨率。这意味着，使用ResAdapter，你可以让模型生成从很小的图标到大尺寸的海报等各种尺寸的图像，同时保持原有的艺术风格和图像质量。

主要特点：

1. 多分辨率生成： ResAdapter能够处理从低分辨率到高分辨率的图像生成任务。
2. 风格一致性： 在生成不同分辨率的图像时，ResAdapter能够保持模型原有的风格领域，不会因为分辨率的改变而改变图像的风格。
3. 轻量级和高效： ResAdapter训练成本低，参数量只有0.5M，训练时间短，且在推理时不需要复杂的后处理操作。
4. 模块兼容性： ResAdapter可以与其他模块（如ControlNet、IP-Adapter和LCM-LoRA）结合使用，提高图像生成的灵活性和效率。

工作原理：

ResAdapter通过在扩散模型的UNet结构中插入特定的适配器层（ResCLoRA和ResENorm）来实现其功能。

这些适配器层专门设计来学习分辨率先验，同时忽略风格信息，从而在不改变模型原有风格的情况下，动态匹配不同分辨率下的卷积层感受野和特征图大小。

此外，ResAdapter还采用了一种简单的多分辨率训练策略，通过在混合分辨率的数据集上训练，使模型能够同时学习多分辨率知识。