条件感知神经网络CAN：用于在图像生成模型中添加控制

来自麻省理工学院、清华大学和英伟达的研究人员推出一种条件感知神经网络（CAN），用于在图像生成模型中添加控制，它通过动态调整神经网络的权重来实现对生成图像的控制。

与之前的条件控制方法相比，CAN通过动态调整神经网络的权重来控制图像生成过程。这得益于一个条件感知权重生成模块的引入，该模块能够根据输入条件为卷积/线性层生成条件权重。

主要功能和特点：

• 条件控制： CAN通过引入一个条件感知的权重生成模块，根据输入的条件（如类别标签或文本）动态调整卷积/线性层的权重。

• 显著提升性能： 在ImageNet和COCO数据集上的实验表明，CAN能够显著提高扩散变换模型（如DiT和UViT）的性能。

• 高效性： CAN与EfficientViT结合使用时，在保持性能的同时，相比于DiT-XL/2模型，每个采样步骤的计算量减少了52倍。

工作原理：

• 权重生成模块： CAN的核心是一个额外的条件感知权重生成模块，它接收条件嵌入（例如用户指令）并输出条件权重。

• 权重融合： 在训练和推理过程中，条件权重和静态权重通过相加融合，相当于独立应用条件权重和静态权重，然后将它们的输出相加。

• 高效实现： 为了解决条件感知层在批处理训练和推理中的挑战，CAN采用了分组卷积的高效实现方法，通过批量到通道和通道到批量的转换来保持功能。

具体应用场景：

• 图像生成： 艺术家和设计师可以使用CAN来生成具有特定风格或主题的图像，例如生成特定类别的动物图片或者根据文本描述生成场景。

• 个性化内容创作： CAN可以用于生成个性化的内容，比如根据用户的喜好生成定制的艺术品或者根据用户提供的标签生成特定风格的图片。

• 增强现实（AR）和虚拟现实（VR）： 在AR和VR应用中，CAN可以根据用户的交互或者环境条件实时生成或调整图像内容，提升用户体验。

CAN是一种创新的图像生成方法，它通过动态调整神经网络权重来实现对生成图像的精确控制，同时保持了高效的计算性能，为各种图像生成应用提供了新的可能性。