复旦与微软提出 ArcFlow：基于动量建模的非线性蒸馏框架，2 步生成高质量图像，加速 40 倍
扩散模型凭借卓越的生成质量成为图像生成领域的核心技术，但40-100步的迭代去噪过程导致推理速度极慢，难以落地到实时应用场景。复旦大学与微软亚洲研究院联合提出的ArcFlow框架，通过非线性轨迹蒸馏的...
排序
SageAttention2：适用于即插即用推理加速的精确4位注意力机制
尽管线性层的量化技术已经广泛应用于深度学习模型中，但在加速注意力机制方面的应用仍然有限。为了提高注意力计算的效率并保持高精度，清华大学的研究团队提出了 SageAttention2，这是一个基于低精度...
CSpD：用于加速自回归图像生成模型的推理过程
中国科学院大学、中国科学院自动化研究所和中国铁塔的研究人员介绍了一种名为“Continuous Speculative Decoding”（CSpD）的技术，用于加速自回归（Autoregressiv...
新型推理加速技术SmoothCache：提高DiT模型在不同模态（如图像、视频和语音合成）任务中的推理效率
DiT架构因其强大的生成能力而在图像、视频和语音合成等多个领域展现出巨大潜力。然而，由于在推理过程中需要反复评估计算密集型的注意力和前馈模块，DiT架构的计算成本较高，这成为其广泛应用的一大障碍。为了...
ParaAttention：通过上下文并行注意力机制，使用多个GPU加速FLUX和Mochi模型的推理
ParaAttention是一种创新的上下文并行注意力机制，旨在通过多个GPU加速FLUX和Mochi模型的推理。通过支持torch.compile和多种并行策略，ParaAttention提供了高效...
