CFG改进版CFG++：帮助生成与文本描述相匹配的图像

韩国科学技术院推出新型的图像生成和编辑技术CFG++，这是针对“分类器自由引导”（Classifier-free Guidance，简称CFG）的改进版。CFG是一种在现代文本引导的图像生成模型中使用的工具，它可以帮助生成与文本描述相匹配的图像。然而，CFG存在一些问题，比如在图像编辑时缺乏可逆性，以及在高引导尺度下容易产生模式崩溃等问题。

项目主页：https://cfgpp-diffusion.github.io
GitHub：https://github.com/CFGpp-diffusion/CFGpp

CFG++旨在应对传统CFG中固有的离流形挑战。CFG++对CFG的修正惊人地简单，但却带来了显著的改进，包括提高了文本到图像生成的样本质量、实现了可逆性、减小了引导尺度、减少了模态坍塌等问题。此外，CFG++还允许在较低引导尺度下无缝地在无条件采样和条件采样之间进行插值，且在所有尺度上持续优于传统CFG。实验结果证实，CFG++显著提升了文本到图像生成、DDIM反转、编辑以及解决逆问题等任务的性能，表明该方法具有广泛的影响力及在利用文本引导的各种领域的潜在应用价值。

例如，你有一台机器，可以根据你给出的描述文字来画出一幅画。但是，这台机器有时候画出来的东西会很奇怪，比如可能会画出一个有好几双手的人，或者一只在水里的皮艇，但桨却断掉了。CFG++就是对这台机器进行的一次升级，让它画出来的画更加准确，更符合你的描述。

主要功能：

文本到图像的生成：根据文本描述生成相应的图像。
图像编辑：对已生成的图像进行编辑，比如改变图像中的某些元素。
逆向问题求解：帮助解决从噪声数据中恢复原始数据的问题，比如去噪、去模糊等。

主要特点：

更好的样本质量：生成的图像更加清晰，更贴近文本描述。
可逆性：改进了图像编辑的可逆性，使得编辑过程更加稳定。
较小的引导尺度：使用较小的引导尺度就能获得高质量的输出，减少了模式崩溃的风险。
平滑的过渡：在生成图像的过程中，从低分辨率到高分辨率的细节过渡更加平滑。

工作原理：

CFG++通过将文本引导重新构想为一个优化问题，使用文本条件的得分匹配损失来改进传统的CFG。它通过一个简单的修正——在更新过程中使用无条件的噪声估计而不是条件噪声估计——来解决传统CFG中的“离流形”问题。这种方法使得生成的图像在逆向扩散过程中能够更平滑地从低分辨率过渡到高分辨率，同时减少了生成过程中可能出现的误差累积。