索尼 AI和加州大学河滨分校的研究人员推出了一种低成本训练大规模文本到图像（Text-to-Image, T2I）扩散模型的方法micro_diffusion 。该方法通过创新的“延迟掩码”（deferred masking）策略和优化的训练流程，显著降低了训练成本，使得在有限的计算资源下也能训练出高质量的生成模型。例如，作者仅使用3700万张公开可用的图像，以1890美元的成本训练了一个11.6亿参数的稀疏Transformer模型，并在COCO数据集上实现了12.7的FID（Fréchet Inception Distance）分数，与现有的稳定扩散模型相比，成本降低了118倍。
主要功能
- 低成本训练：通过延迟掩码策略和优化的训练流程，显著降低训练成本，使得大规模扩散模型的训练更加经济实惠。
- 高质量生成：在极低的训练成本下，模型能够生成高质量、多样化的图像，与现有高性能模型相媲美。
- 灵活的训练策略：支持使用合成数据和真实数据混合训练，进一步提升生成图像的质量和多样性。
- 快速训练：通过优化训练流程和硬件利用，大幅缩短训练时间，使得模型训练更加高效。
主要特点
- 延迟掩码策略：在训练过程中，先通过一个轻量级的“patch-mixer”处理所有图像块，然后再进行掩码操作。这种方法使得即使在高掩码比例下（如75%），模型仍能保留图像的整体语义信息，从而显著提升性能。
- 稀疏Transformer架构：结合混合专家（Mixture-of-Experts, MoE）层和逐层扩展（layer-wise scaling）技术，进一步优化模型性能和训练效率。
- 合成数据的使用：通过在训练中引入合成图像数据，模型在生成图像时能够更好地捕捉细节和语义信息，提升生成质量。
- 微预算训练：仅使用公开数据集和有限的计算资源，即可训练出与现有高性能模型相媲美的扩散模型，降低了参与大规模模型开发的门槛。
工作原理
- 延迟掩码：传统掩码方法直接在输入层丢弃部分图像块，导致大量信息丢失。而延迟掩码策略先通过一个轻量级的patch-mixer处理所有图像块，使其保留全局语义信息后再进行掩码。这种方法在高掩码比例下仍能保持较好的性能。
- 稀疏Transformer：通过引入混合专家（MoE）层，模型能够在不显著增加计算成本的情况下扩展参数规模，从而提升生成能力和多样性。
- 合成数据增强：在训练中加入合成图像数据，帮助模型更好地学习图像的语义信息和细节，进一步提升生成质量。
- 优化训练流程：通过调整学习率、权重衰减等超参数，以及使用高效的优化器和训练策略，进一步提升训练效率和模型性能。
具体应用场景
- 创意设计：艺术家和设计师可以利用该模型快速生成高质量的创意图像，加速设计流程。
- 内容创作：在影视、游戏等行业的内容创作中，该模型能够快速生成符合需求的图像和场景，降低制作成本。
- 教育与研究：低成本的训练方式使得更多的研究机构和个人能够参与大规模扩散模型的研究和开发，推动技术进步。
- 广告与营销：企业可以利用该模型生成个性化的广告图像，提升营销效果。
- 虚拟现实与增强现实：为虚拟和增强现实应用生成高质量的虚拟场景和对象，提升用户体验。
评论0