新型指令式图像编辑框架FireEdit：利用区域感知的视觉语言模型（VLM），实现了对用户指令的细粒度理解和精确图像编辑

中山大学深圳校区、腾讯混元、清华大学和香港科技大学的研究人员推出新型指令式图像编辑框架FireEdit，它通过利用区域感知的视觉语言模型（VLM），实现了对用户指令的细粒度理解和精确图像编辑。FireEdit 的目标是解决现有方法在复杂场景、语义一致性和细粒度编辑方面的挑战，提升图像编辑的准确性和效果。

• 项目主页：https://zjgans.github.io/fireedit.github.io

例如，你有一张照片，照片中有一个花瓶，你希望将花瓶中的水变成蓝色。传统的图像编辑方法可能需要手动选择花瓶中的水区域，或者依赖复杂的图像分割技术。而 FireEdit 只需要你输入一个简单的指令：“将花瓶中的水变成蓝色”，它就能自动识别花瓶中的水区域，并将其颜色变为蓝色，同时保持其他部分的图像细节不变。

主要功能

1. 细粒度图像编辑：能够根据用户输入的自然语言指令，对图像中的特定区域进行精确编辑。
2. 语义一致性：在编辑过程中，保持图像的整体语义结构不变，避免对非编辑区域的不必要修改。
3. 复杂场景处理：即使在多对象环境或复杂背景中，也能准确识别并编辑目标区域。
4. 高效编辑：通过优化的区域感知模型和时间感知模块，快速生成高质量的编辑结果。

主要特点

1. 区域感知的视觉语言模型（Region-aware VLM）：通过引入区域标记（region tokens），增强模型对图像中特定区域的理解能力。
2. 时间感知目标注入模块（Time-Aware Target Injection, TATI）：动态调整不同去噪阶段的引导强度，确保编辑目标的准确性。
3. 混合视觉交叉注意力模块（Hybrid Visual Cross Attention, HVCA）：整合多尺度视觉特征，增强非编辑区域的细节保留能力。
4. 端到端的编辑流程：从用户指令解析到图像生成，整个过程无需手动干预。

工作原理

1. 区域感知混合模态编码（Region-aware Mixed-Modal Encoding）：

   • 使用区域检测器（如 Deformable DETR）识别图像中的潜在目标区域，并将这些区域编码为区域标记（region tokens）。
   • 将区域标记与图像特征和文本指令一起输入到视觉语言模型（VLM）中，增强模型对编辑目标的理解。
   • 通过 VLM 的强大推理能力，生成编辑指令的表示（editing representation）。
2. 时间感知目标注入模块（Time-Aware Target Injection, TATI）：

   • 在扩散模型的去噪过程中，根据不同的时间步（timestep）动态调整编辑目标的引导强度。
   • 在早期阶段关注低频结构（如边缘和布局），在后期阶段关注高频细节（如纹理和颜色）。
3. 混合视觉交叉注意力模块（Hybrid Visual Cross Attention, HVCA）：

   • 结合多尺度视觉特征（如 CLIP 和 DINOv2 提取的特征），增强对非编辑区域的细节保留。
   • 通过交叉注意力机制，将视觉特征与编辑指令进行融合，确保生成的图像在语义上与原始图像保持一致。

应用场景

1. 创意设计：

   • 设计师可以根据创意需求，通过简单的指令快速修改图像中的特定元素，例如改变颜色、添加物体或调整布局。
   • 例如，将一张普通风景照片中的天空改为夜晚星空，或者在产品图中添加品牌标志。
2. 广告制作：

   • 广告团队可以快速生成多种广告素材，根据不同的宣传需求调整图像内容。
   • 例如，将产品背景改为特定的场景，或者调整产品颜色以匹配广告主题。
3. 影视后期制作：

   • 电影和电视剧的后期制作团队可以利用 FireEdit 快速修改场景中的元素，例如添加特效、改变场景氛围或修复画面中的错误。
   • 例如，将一个白天的场景改为夜晚，或者在历史剧场景中添加古建筑。
4. 教育和培训：

   • 教师可以利用 FireEdit 制作教学材料，通过简单的指令修改图像中的元素，以适应不同的教学场景。
   • 例如，将一张植物图中的叶子颜色改为黄色以展示秋季变化，或者在地理教学中修改地图上的地标。
5. 个人照片编辑：

   • 普通用户可以通过简单的指令快速修改个人照片，例如去除照片中的多余元素、改变服装颜色或添加装饰效果。
   • 例如，将照片中的背景改为海边，或者将衣服颜色改为更喜欢的颜色。