西湖大学和浙江大学的研究人员推出统一框架UCGM：用于训练、采样和理解连续生成模型

西湖大学和浙江大学的研究人员推出统一框架UCGM，用于训练、采样和理解连续生成模型。UCGM通过一个统一的训练目标和采样算法，将多步生成模型（如扩散模型和流匹配模型）与少步生成模型（如一致性模型）结合起来。该框架不仅能够生成高质量的图像，还能显著减少采样步骤，提高生成效率。

• GitHub：https://github.com/LINs-lab/UCGM
• 模型：https://huggingface.co/sp12138sp/UCGM

例如，你正在使用一个生成模型来合成高分辨率的自然图像。传统的扩散模型可能需要数百步的采样才能生成高质量的图像，而UCGM能够在仅需几十步甚至几步的情况下，生成同样高质量的图像。例如，在ImageNet 256×256数据集上，UCGM能够在20步内达到1.30的FID（Fréchet Inception Distance），而在2步内也能达到1.42的FID，这在少步生成任务中是非常出色的表现。

主要功能

1. 统一训练和采样：UCGM提供了一个统一的训练目标和采样算法，适用于多步和少步生成模型。
2. 高效采样：通过优化采样过程，UCGM能够在更少的步骤中生成高质量的图像，显著提高了生成效率。
3. 高质量生成：UCGM在多步和少步生成任务中均能生成高质量的图像，适用于多种数据集和分辨率。
4. 训练加速：通过引入自增强技术（self-boosting），UCGM在训练过程中减少了对分类器自由引导（classifier-free guidance）的依赖，提高了训练效率。

主要特点

1. 统一性：UCGM将扩散模型、流匹配模型和一致性模型等不同类型的生成模型统一在一个框架下，通过调整参数λ来实现从多步到少步的平滑过渡。
2. 灵活性：UCGM支持多种噪声调度和模型架构，适用于不同的应用场景。
3. 高效性：通过优化采样过程，UCGM在减少采样步骤的同时，保持了生成图像的高质量。
4. 自增强技术：UCGM在训练和采样阶段引入了自增强技术，显著提高了模型的性能和效率。

工作原理

1. 统一训练目标：
   • UCGM通过一个统一的训练目标来训练生成模型，该目标通过参数λ控制模型的行为。当λ接近0时，模型更接近传统的多步扩散模型；当λ接近1时，模型更接近少步一致性模型。
   • 通过调整λ，UCGM可以在多步和少步生成任务之间灵活切换，同时保持高质量的生成效果。
2. 统一采样算法：
   • UCGM提出了一种统一的采样算法，适用于训练后的模型以及现有的预训练模型。该算法通过优化采样过程，减少了采样步骤，同时提高了生成图像的质量。
   • 采样算法中引入了外推技术（extrapolation）和随机性（stochasticity），进一步提高了采样效率和生成质量。
3. 自增强技术：
   • 在训练阶段，UCGM通过增强目标分数函数，减少了对分类器自由引导的依赖，提高了训练效率。
   • 在采样阶段，UCGM通过外推估计和随机性注入，进一步优化了采样过程，减少了采样步骤。

测试结果

1. 多步生成任务：
   • 在ImageNet 256×256数据集上，UCGM在20步内达到了1.30的FID，优于现有的多步扩散模型。
   • 在512×512分辨率下，UCGM在40步内达到了1.48的FID，显著优于现有的方法。
2. 少步生成任务：
   • 在2步采样情况下，UCGM在256×256分辨率下达到了1.42的FID，在512×512分辨率下达到了1.75的FID，均优于现有的少步生成模型。
3. 加速效果：
   • UCGM在减少采样步骤的同时，保持了生成图像的高质量。例如，将现有的预训练模型从250步优化到40步，FID从1.26降低到1.06。

应用场景

1. 图像生成：UCGM适用于高分辨率图像生成任务，能够显著减少生成时间和计算资源。
2. 视频生成：通过扩展到视频生成任务，UCGM可以生成高质量的视频内容。
3. 实时应用：由于UCGM在少步生成任务中的高效性，适用于实时图像生成和交互式应用。
4. 艺术创作：UCGM能够生成高质量的图像，适用于艺术创作和设计领域。

通过这些功能和特点，UCGM为连续生成模型提供了一个统一且高效的框架，适用于多种生成任务和应用场景。