扩散模型（DMs）作为视频生成的基本骨干，因其顺序去噪的性质而面临低推理速度的挑战。尽管先前的方法通过在均匀选择的时间步长上缓存和重用模型输出来加速模型，但这种策略忽略了模型输出在不同时间步长上的差异并不均匀，导致难以选择适当的模型输出进行缓存，从而影响了推理效率和视觉质量之间的平衡。为了解决这一问题，中国科学院大学、阿里巴巴集团、中国科学院自动化研究所、复旦大学和南洋理工大学的研究人员提出了一种新的缓存方法——时间步长嵌入感知缓存（Timestep Embedding Aware Cache, TeaCache），它用于加速视频扩散模型的推理过程。TeaCache通过估计并利用模型输出在时间步长上的波动差异，显著提高了推理速度，同时几乎不牺牲视觉质量。
TeaCache是一种无需额外训练的缓存策略，通过估计和利用模型输出在不同时间步之间的变化差异来提高视频生成的效率。例如，我们有一个视频扩散模型，它能够根据文本描述生成视频。在使用TeaCache之前，模型可能需要逐步去噪一系列噪声图像，这个过程计算量很大且耗时。TeaCache通过智能地缓存和重用模型的中间输出，减少了重复计算，从而加快了视频生成的速度。例如，如果模型在连续的时间步产生的变化很小，TeaCache会识别出这一点，并重用之前的输出，而不是每次都重新计算。
核心技术创新
1. 模型输入与输出的相关性
TeaCache的核心思想是关注模型输入而非直接使用耗时的模型输出。研究表明，模型输入（尤其是时间步长嵌入）与模型输出之间存在很强的相关性，且计算成本可以忽略不计。因此，TeaCache通过分析模型输入的变化来间接推断模型输出的差异，从而实现高效的缓存策略。
2. 时间步长嵌入调制
为了确保模型输入的差异更好地近似于模型输出的差异，TeaCache引入了时间步长嵌入调制机制。具体来说，TeaCache首先对噪声输入进行调制，使其包含更多关于时间步长的信息。这一步骤使得模型输入的差异能够更准确地反映模型输出的波动情况，从而提高缓存选择的准确性。
3. 重缩放策略
为了进一步细化估计的差异，TeaCache引入了一种重缩放策略。该策略通过对估计的差异进行调整，使得缓存的选择更加精确。通过这种方式，TeaCache能够在保持高质量生成结果的同时，显著减少不必要的计算量。
4. 输出缓存指示
基于上述步骤，TeaCache利用估计的差异来指示哪些时间步长的模型输出应该被缓存。具体来说，TeaCache会选择那些差异较小的时间步长进行缓存，因为这些时间步长的模型输出相对稳定，可以直接重用而不影响视觉质量。相反，对于差异较大的时间步长，TeaCache会重新计算模型输出，以确保生成结果的准确性。
主要特点
- 无需训练：TeaCache不需要额外的训练或数据资源，是一种训练自由的方法。
- 动态缓存：根据模型输出的变化动态决定是否缓存输出，提高了缓存的效率。
- 保持视觉质量：在加速的同时，TeaCache保持了视频的视觉质量，与原始模型相比几乎没有下降。
工作原理
TeaCache的工作原理基于以下几个步骤：
- 输入调制：使用时间步嵌入来调制噪声输入，以确保输入的差异更好地近似输出的差异。
- 差异估计：通过模型输入（特别是时间步嵌入调制的噪声输入）来估计模型输出之间的差异。
- 重放策略：基于估计的差异，TeaCache决定是否重用之前缓存的模型输出，以此来减少重复计算。
- 缩放策略：引入一个简单的多项式拟合过程来调整输入差异，使其更准确地反映输出差异。
性能优势
TeaCache的主要贡献包括：
- 显著加速：实验结果显示，TeaCache在视觉质量几乎没有下降的情况下，比Open-Sora-Plan实现了高达4.41倍的加速。这意味着TeaCache不仅大幅提高了推理速度，还保持了生成内容的高质量。
- 视觉质量保持：尽管加速显著，TeaCache在视觉质量上的损失非常小，仅下降了-0.07% Vbench评分。这表明TeaCache能够在高效推理的同时，几乎不牺牲生成内容的质量。
- 无需额外训练：TeaCache是一种无需训练的缓存方法，可以直接应用于现有的扩散模型，简化了部署和应用过程。
- 灵活适用：TeaCache适用于各种基于扩散模型的视频生成任务，包括但不限于图像到视频生成、视频编辑和3D内容生成。
实验验证与应用前景
研究人员对TeaCache进行了广泛的实验评估，结果表明，该方法在多个基准测试中均表现出色，特别是在处理长时间视频时，TeaCache展示了优异的性能。此外，TeaCache在实际应用场景中也展示了巨大的潜力，包括但不限于：
- 影视制作：用于电影和电视剧的特效制作，提供高质量的视觉效果。
- 虚拟现实和游戏开发：自动生成逼真的环境和角色，提升用户体验。
- 创意设计：帮助设计师快速生成符合特定风格或主题的视频内容。
- 广告和营销：根据客户需求定制视觉内容，提高营销效果。
评论0