来自苹果的团队推出开源图像编辑模型MGIE（MLLM-Guided Image Editing），它旨在通过使用多模态大语言模型（MLLMs）来提升基于指令的图像编辑能力。简单来说，MGIE可以帮助用户通过自然语言指令来精确地编辑图片，比如添加或移除图片中的特定元素，或者改变图片的风格和色调。
主要功能：
- MGIE能够理解并执行用户的自然语言指令，如“给图片中的披萨加上蔬菜配料”或“让照片看起来更亮”。
- 它能够生成更具体和表达性强的指令，这些指令不仅描述了编辑的目标，还提供了如何实现这些目标的视觉想象。
主要特点：
- 多模态理解： MGIE结合了语言模型和图像处理技术，能够理解图像内容并根据用户的指令生成视觉相关的指导。
- 端到端训练： MGIE的模型通过端到端的训练方式，直接从输入的指令到最终的编辑结果，无需额外的后处理步骤。
- 高效性： 尽管MGIE依赖于MLLM来增强图像编辑，但它在执行编辑任务时仍然保持了高效的推理速度。
工作原理：
- 用户输入一个编辑指令。
- MGIE中的MLLM部分解析这个指令，并生成一个更详细、更具表达性的指令。
- 这个详细指令包含了如何实现编辑目标的视觉想象，然后通过一个特殊的“编辑头”（edit head）转换成图像编辑模型可以理解的格式。
- 图像编辑模型（如扩散模型）根据这些视觉指导进行图像的编辑，生成最终的编辑结果。
具体应用场景：
- 创意设计： 设计师可以使用MGIE来快速实现他们的创意想法，比如改变图片的风格或添加新元素。
- 内容创作： 内容创作者可以利用MGIE来编辑图片，以适应他们的社交媒体帖子或视频内容。
- 图像修复： 用户可以修复旧照片，或者移除照片中的不想要的元素。
- 艺术创作： 艺术家可以利用MGIE来探索不同的艺术风格，或者在他们的作品中实现特定的视觉效果。
MGIE的核心优势在于它能够理解并执行复杂的图像编辑指令，同时保持操作的简便性和效率，这使得它在多种视觉设计和内容创作场景中都有广泛的应用潜力。
评论0