香港大学、阿里巴巴集团和蚂蚁集团的研究人员推出图像编辑技术MimicBrush，它通过模仿（imitative editing）的方式，让用户能够更加方便地发挥创造力进行图像编辑。简单来说，MimicBrush允许用户指定源图像中需要编辑的区域，并提供一个参考图像，来展示编辑后期望的效果。系统会自动捕捉两个图像之间的语义对应关系，并用一个前馈网络执行编辑任务。
例如，一个设计师想要在一款运动鞋的鞋底上添加一种特定的图案，他只需要提供一张带有这种图案的参考图片，MimicBrush就能够识别出参考图片中的相关图案，并将其应用到鞋类图片的相应区域，实现无缝集成。
- 项目主页：https://xavierchen34.github.io/MimicBrush-Page
- GitHub：https://github.com/ali-vilab/MimicBrush
- Demo：https://huggingface.co/spaces/xichenhku/MimicBrush
MimicBrush随机从一个视频片段中选择两帧，对一帧的某些区域进行遮罩处理，并学习利用另一帧的信息来恢复被遮罩的区域。通过这种方式，基于扩散先验构建的模型能够在自我监督的方式下捕捉不同图像间的语义对应关系。
主题介绍：
图像编辑是一项实用但具有挑战性的任务，因为它需要满足用户的多样化需求。MimicBrush通过一种新颖的编辑方式，使用户能够通过参考图像来指导编辑过程，而无需担心参考图像与源图像之间的匹配问题。
主要功能：
- 用户指定源图像中的编辑区域（例如，用白色遮罩标出）。
- 提供一个野外的参考图像，展示编辑后期望的样子。
- MimicBrush自动找到参考图像中相应的部分，并将其应用到源图像的编辑区域。
主要特点：
- 自动化: 自动识别和模仿参考图像中的相关部分。
- 无需额外输入: 与需要文本提示或特定遮罩的其他方法不同，MimicBrush只需参考图像即可。
- 自监督学习: 通过视频帧的自然一致性和视觉变化进行训练，无需额外的文本或跟踪注释。
工作原理：
MimicBrush基于一个生成训练框架，使用双扩散UNets来处理源图像和参考图像。在训练过程中，系统从视频剪辑中随机选择两帧，遮罩源帧的某些区域，并学习使用另一帧中的信息来恢复这些区域。这样，模型能够在没有明确指示的情况下，自动捕捉不同图像间的语义对应关系。
具体应用场景：
- 产品设计: 修改产品设计的特定部分，如鞋类或服装的图案。
- 角色创作: 在角色设计中，模仿现实中的元素，如发型或服装纹理。
- 特效制作: 在视觉特效中，合成或修改图像的特定部分，以实现逼真的效果。
评论0