Adob​​e推出Magic Fixup：用于图像编辑的生成模型

来自Adob​​e和马里兰大学的研究团队推出用于图像编辑的生成模型Magic Fixup，该模型能够根据粗略编辑的图像，合成遵循特定布局的逼真输出。该模型能够转移原始图像的精细细节，同时保留其各部分特征，并使其适应新布局定义的光照和上下文环境。

想象一下，你有一张美丽的风景照片，但想要移动或删除某些元素，比如把湖面上的鸭子移到另一个位置，或者让湖面上的倒影更加逼真。使用Magic Fixup，你可以轻松地对图片进行这些改动，而不需要专业的图像编辑技能。

主要功能和特点：

• 用户友好的编辑界面： 用户可以通过简单的2D变换（如移动、缩放、旋转）来编辑图像，就像在做拼贴画一样。

• 保留细节和身份： Magic Fixup能够在编辑过程中保留图像的原始细节和对象的身份，确保编辑后的图像看起来自然且真实。

• 利用视频数据： 该技术使用视频中的动态数据来训练模型，以便更好地理解和模拟现实世界中对象随视角、光照和物理交互变化的情况。

工作原理：

1. 粗略编辑： 用户首先对图像进行粗略编辑，例如通过移动或删除图像中的某些部分。
2. 细节提取： Magic Fixup使用一个称为“细节提取器”的模型来从原始图像中提取细节特征。
3. 图像合成： 另一个模型“合成器”根据粗略编辑和细节特征生成最终的逼真图像。这个过程中，模型会利用从视频数据中学到的信息来调整图像，使其在光照和物理交互上看起来更加自然。

Magic Fixup是一个强大的图像编辑工具，它结合了传统编辑方法的控制能力和现代生成模型的真实性，使得即使是非专业人士也能轻松创建高质量的编辑图像。