基于Flux模型的图像编辑框架Insert Anything：通过用户指定的灵活控制，将参考图像中的对象无缝整合到目标场景中

161 0

来自 浙江大学、哈佛大学 和 南洋理工大学 的研究人员提出了一种名为 Insert Anything 的创新框架，通过用户指定的灵活控制，将参考图像中的对象无缝整合到目标场景中。这一方法无需为每个任务单独训练模型，而是在新构建的 AnyInsertion 数据集 上一次性训练完成，并能泛化到广泛的插入场景。

项目主页：https://song-wensong.github.io/insert-anything
GitHub：https://github.com/song-wensong/insert-anything
Demo：https://huggingface.co/spaces/WensongSong/Insert-Anything

Insert Anything 的核心优势在于其能够在捕捉身份特征和细粒度细节的同时，允许在风格、颜色和纹理方面进行多样化的局部适应。这使得它在创意内容生成、虚拟试穿和场景合成等现实应用中展现了巨大的潜力。

研究背景与挑战

图像插入是一个复杂且具有挑战性的任务，要求模型能够：

忠实保留参考对象的身份特征（如人物的面部特征或物体的形状）。
灵活适配目标场景（如调整风格、颜色和纹理以融入新环境）。
支持多样化的插入场景（如家具、车辆、服装等）。

现有方法通常针对特定任务设计专用模型，缺乏通用性和灵活性。此外，高质量的图像插入还需要同时处理高频细节和语义一致性，这对模型的架构和训练数据提出了更高要求。

为此，研究人员提出了一种基于Flux模型的统一框架，并构建了一个全新的大规模数据集——AnyInsertion，以应对上述挑战。

主要功能

统一的图像插入框架：支持多种类型的图像插入任务，包括人物、物体和服装插入。
灵活的控制方式：支持通过遮罩（mask）或文字提示（text prompt）来指导插入过程，用户可以根据需要选择控制方式。
高质量的插入效果：能够保留插入对象的细节特征，同时确保与目标场景的自然融合。
高效的编辑能力：通过上下文编辑机制，模型可以快速适应不同的插入任务，减少手动调整的需要。

AnyInsertion 数据集

AnyInsertion 数据集 是 Insert Anything 方法的基础，包含 12 万对提示-图像对，涵盖了丰富的插入任务类型和场景。数据集的主要特点包括：

多样化任务类型
- 数据集分为 掩码提示 和 文本提示 两大类，每类进一步细分为配件、物体和人物插入任务。
- 覆盖的场景包括家具、日用品、服装、车辆和人类等。
来源多样性
- 图像对从互联网、人类视频和多视角图像中收集，确保了数据的多样性和真实性。
高质量标注
- 每个图像对都经过精心标注，包括参考图像、目标场景和对应的掩码或文本提示。

这一数据集的规模和多样性为模型的一次性训练提供了坚实基础，使其能够泛化到多种插入场景。

Insert Anything 方法概述

Insert Anything 提出了一种基于扩散变换器（DiT）的统一框架，支持基于掩码和文本提示的编辑。以下是其整体流程：

1. 输入处理

使用冻结的变分自编码器（VAE）处理多联画输入，包括：
- 参考图像：提供待插入对象的外观信息。
- 源图像：表示目标场景。
- 掩码：用于指示插入位置。
VAE 的作用是保留高频细节，为后续处理奠定基础。

2. 特征提取

从图像和文本编码器中提取语义引导信息：
- 图像编码器捕获视觉特征。
- 文本编码器解析用户提供的文本提示。

3. 情境学习

将提取的嵌入组合并输入到可学习的 DiT 变换器块中，进行情境学习：
- 利用多模态注意力机制，协调插入元素与目标场景的关系。
- 采用两种提示策略（基于掩码和文本），确保插入对象既融入场景又保留独特特征。

4. 输出生成

最终输出是一张高质量的合成图像，其中参考对象被无缝插入到目标场景中。

关键技术创新

扩散变换器（DiT）的应用
- DiT 的多模态注意力机制支持基于掩码和文本的灵活编辑。
- 其强大的上下文建模能力使模型能够同时捕捉全局一致性和局部细节。
情境编辑机制
- 将参考图像视为上下文信息，采用两种提示策略：
  - 掩码提示：明确指示插入位置。
  - 文本提示：提供语义指导，增强灵活性。
一次性训练与广泛泛化
- 在 AnyInsertion 数据集上的一次性训练，使模型能够直接应用于多种插入任务，无需额外微调。