俄罗斯Yandex Research和高等经济大学的研究人员推出新型蒸馏技术Invertible Consistency Distillation（iCD），它用于提升文本引导的图像编辑任务中的图像生成和编辑能力。简单来说，iCD技术可以让计算机根据用户提供的文本描述生成图像，并且能够对真实图像进行精确的编辑和调整。
- 项目主页：https://yandex-research.github.io/invertible-cd
- GitHub：https://github.com/yandex-research/invertible-cd
iCD（可逆一致性精炼）是一种泛化的精炼框架，仅需三到四步推理就能确保高品质图像生成及精确图像嵌入的双重目标。尽管针对文本到图像扩散模型的图像反转任务因高无分类器引导尺度而变得更加复杂，研究团队观察到动态引导策略能显著减小重建误差，同时不影响生成效果的质量。最终，研究团队证实了结合动态引导的iCD能极为有效地支持零样本的文本引导式图像编辑，其性能可媲美更为复杂且资源密集的前沿技术。
主要功能：
- 高质量图像生成：根据文本描述快速生成高质量的图像。
- 精确图像编码：将真实图像有效地编码到模型的潜在空间中，以便进行精确编辑。
主要特点：
- 少步骤推理：iCD能够在仅有3-4次推理步骤中实现高质量的图像合成和准确的图像编码。
- 动态引导：使用动态分类器自由引导（Dynamic Classifier-Free Guidance），在不降低生成性能的同时，显著减少重建误差。
工作原理：
- 前向一致性蒸馏（fCD）：与传统的一致性蒸馏（CD）相反，fCD将图像从潜在噪声编码到PF ODE轨迹的最后点。
- 多边界一致性蒸馏：通过将时间步长分割成多个段，并对每个段分别进行蒸馏，从而实现多步确定性逆向过程。
- 动态分类器自由引导：在高噪声水平时不使用引导，以刺激早期采样步骤的探索，从而在保持文本到图像扩散模型的可编辑性的同时，提高图像重建质量。
具体应用场景：
- 图像编辑：用户可以提供文本描述，iCD技术能够根据描述对现有图像进行精确的编辑和调整。
- 艺术创作：艺术家和设计师可以使用iCD根据文本提示生成新的艺术作品或设计草图。
- 内容创作：为社交媒体或其他平台创作图像内容，提供快速且个性化的图像生成服务。
通过实验表明，iCD技术在图像重建质量和文本引导的图像编辑任务上，与更昂贵的最新技术相比具有竞争力，同时在速度上具有显著优势。这使得iCD成为一个高效的工具，可以用于零样本文本引导的图像编辑，为用户提供了一个强大的图像生成和编辑平台。
评论0