中国科学院大学、中国科学院自动化研究所和中国铁塔的研究人员介绍了一种名为“Continuous Speculative Decoding”（CSpD）的技术，用于加速自回归（Autoregressive, AR）图像生成模型的推理过程。自回归模型在图像生成领域展现出了显著的优势，但它们的计算需求导致了显著的推理开销。CSpD技术通过从离散令牌推广到连续空间的推测解码算法，提高了连续值自回归图像生成模型的推理速度，同时保持了生成质量。
例如，你有一个自回归图像生成模型，你想生成一张猫的图片。传统的生成过程需要模型逐步预测每个像素或令牌，这可能非常耗时。使用CSpD技术，模型可以快速生成一个草图（draft），然后通过目标模型验证这些草图的质量，接受好的草图并拒绝需要改进的草图。这个过程大大加快了生成速度，同时确保生成的图片保持高质量。
主要功能和特点
主要功能：
- 加速推理： 通过推测解码算法减少自回归模型的推理时间。
- 保持生成质量： 在加速的同时，保持或甚至提高生成图像的质量。
主要特点：
- 连续值处理： 将推测解码算法应用于连续值的自回归模型，而非传统的离散令牌模型。
- 定制接受标准： 为连续分布建立了合适的接受标准。
- 无需额外训练： 该方法不需要对模型进行额外训练或改变模型架构。
工作原理
CSpD的工作原理包括以下几个步骤：
- 草图生成： 使用草图模型（draft model）快速生成一系列草图令牌。
- 验证过程： 目标模型（target model）并行验证这些草图令牌，并输出概率密度函数（PDF）。
- 接受标准： 如果目标模型的PDF大于草图模型的PDF，则接受草图令牌；否则，根据一定的概率拒绝该令牌。
- 拒绝重采样： 对于被拒绝的令牌，使用接受-拒绝采样方法从修改后的分布中重新采样新的令牌。
- 保持输出分布： 确保推测解码过程的输出分布与目标模型单独的输出分布保持一致。
评论0