香港中文大学MMLab 、上海人工智能实验室和南京大学的研究人员推出一种新的图像生成技术“集合自回归模型”（Set AutoRegressive Modeling，简称SAR）。你可以把它想象成一个超级聪明的画家，这个画家不是一笔一笔画出来的，而是可以一大区域内的很多笔一起画，这样画出来的画不仅快，而且可以根据你的描述来定制。
SAR的性能已在ImageNet基准上进行了广泛测试，结果表明其在高质量图像合成方面具有显著潜力。测试结果显示，序列顺序和输出间隔的变化显著影响图像质量，这突显了定制模型架构以优化特定任务性能的重要性。
主要功能和特点
- 快速生成高质量图像：SAR模型能够快速生成高分辨率的图像，比如1024x1024像素的图片，速度比传统的自回归（AR）模型快60倍。
- 灵活性：SAR模型不局限于一种绘画顺序，它可以任意改变画笔的顺序，就像你可以告诉画家先画天空再画草地一样。
- 结合了AR和MAR的优点：SAR模型既可以像AR模型那样逐步生成图像，也可以像Masked AR（MAR）模型那样一次性生成多个像素，这样可以减少生成步骤，提高效率。
工作原理
SAR模型的核心在于它改变了传统AR模型的生成方式。在传统的AR模型中，图像是按照固定的顺序一个像素接一个像素生成的。而SAR模型则是将图像分割成多个“集合”，每个集合包含多个像素，然后可以任意顺序生成这些集合。这样做的好处是可以大幅度减少生成图像所需的步骤，同时保持图像的高质量。
核心技术：全掩码Transformer
全掩码Transformer是SAR的核心技术，它通过以下方式实现了AR和MAR模型之间的平滑过渡：
- 整合中间状态：利用中间生成状态，减少推理步骤。
- 高效采样：结合AR和MAR的优势，提高采样效率。
- 灵活的生成策略：允许将序列划分为任意集合，提高模型的灵活性。
未来机会
尽管SAR显示出巨大的潜力，但其研究仍处于初期阶段。未来的工作需要在以下几个方面进行深入探索：
- 改进训练计划：优化训练策略，提高模型的稳定性和泛化能力。
- 扩展应用领域：将SAR的应用扩展到不同的模式，如自然语言处理、视频生成等。
- 定制化模型架构：根据不同任务的需求，定制化模型架构，以进一步优化性能。
具体应用场景
- 文本到图像的生成：你可以给SAR模型一个文本描述，比如“一只在草地上微笑的白色小狗”，它就能根据这个描述生成相应的图像。
- 零样本图像编辑：SAR模型还可以用于图像编辑任务，比如图像修复（inpainting）和扩展（outpainting）。如果你有一张不完整的图片，SAR模型可以帮你补全缺失的部分。
总的来说，SAR模型是一种新的图像生成技术，它通过改变图像生成的顺序和方式，使得生成图像的速度和灵活性都得到了极大的提升。
评论0