谷歌推出新采样方法EM Distillation（EMD），用于提高扩散模型（diffusion models）的采样效率。扩散模型是一种强大的生成模型，能够学习复杂的数据分布并生成高质量的图像、视频等。然而，这些模型在生成样本时需要进行迭代计算，这既耗时又计算密集。实验结果表明，EMD在ImageNet-64和ImageNet-128数据集上的FID分数优于现有的单步生成方法，并且在文本到图像的扩散模型蒸馏方面与先前的工作相比也表现出色。这表明EMD是一个有前途的方法，可以显著提高扩散模型的实用性和应用范围。
EM Distillation（EMD）是一种基于最大似然估计的策略，能够将扩散模型转化为仅需一步的生成模型，且在保持感知质量方面损失极小。该方法经由期望最大化（EM）框架推演而来，通过利用来自扩散模型先验和推测的生成器潜在变量的联合分布样本来调整生成器参数。我们还设计了一种重新参数化的采样方案及一种噪声抑制技术，它们联袂确保了精炼过程的稳定性。
主要功能和特点：
- 高效采样：EMD通过将复杂的扩散过程简化为单步生成过程，显著降低了生成样本所需的计算量。
- 保持质量：尽管采样步骤减少，EMD仍能够保持与原始扩散模型相近的感知质量。
- 基于最大似然：EMD基于最大似然估计（MLE）原理，通过期望最大化（EM）框架来优化学生模型（student model），使其在单步生成中能够匹配预训练的扩散教师模型（teacher model）的分布。
- 重参数化采样和噪声消除技术：EMD开发了一种新的采样方案和噪声消除技术，这些技术共同提高了蒸馏过程的稳定性。
- 与现有方法的联系：论文还揭示了EMD与传统最小化模式寻求KL散度的方法之间的联系，并展示了如何通过MCMC采样方案的强度在模式寻求和模式覆盖散度之间进行插值。
工作原理：
EMD的核心思想是通过EM算法框架来训练一个学生模型，使其能够从噪声中一步生成数据。这个过程包括两个主要步骤：
- 期望步骤（E-step）：使用蒙特卡洛（Monte Carlo）采样来估计学习梯度，这些采样来自扩散教师模型先验和推断出的生成器潜在变量的联合分布。
- 最大化步骤（M-step）：通过梯度上升更新学生模型，以最大化边缘教师分布的似然估计。
为了简化超参数调整并提高短跑MCMC的性能，EMD引入了一种可重参数化的采样方法。此外，EMD在M步的优化中发现了一个可处理的线性噪声项，其去除显著降低了方差。
具体应用场景：
- 图像生成：EMD可以用于生成高质量、高分辨率的图像，适用于艺术创作、游戏设计、虚拟现实等领域。
- 视频生成：虽然论文中没有直接提到视频生成，但扩散模型理论上可以扩展到视频，EMD因此也可能用于视频内容的生成。
- 文本到图像的生成：EMD可以应用于将文本描述转换为图像的任务，这对于自动内容创作、辅助设计和教育等领域非常有用。
- 实时生成：由于EMD减少了计算步骤，它可以用于需要实时生成内容的应用，如实时图形渲染、游戏或模拟环境。
评论0