来自复旦大学的研究人员推出了一种新型图像编辑框架SEELE（SEgment-gEnerate-and-bLEnd），它专注于在图像中重新定位指定的对象（即“主体”），同时保持图像的整体质量。
SEELE通过一个统一的、基于提示的修复任务来实现这一目标，它能够处理填补被移动对象留下的空白区域、重建被遮挡的对象部分以及使重新定位的对象与周围环境和谐融合等子任务。
为了评估SEELE的效果，作者还构建了一个包含100张图像对的数据集ReS。实验结果表明，SEELE能够有效地实现主体重新定位任务，为图像操作领域提供了新的思路。
主要特点：
- 动态图像操作：SEELE能够动态地在图像中移动对象，而不仅仅是静态地修改图像的特定区域或风格。
- 统一的生成模型：SEELE使用单一的扩散生成模型来处理所有生成子任务，通过学习任务提示来指导模型。
- 任务反转技术：SEELE采用了一种创新的任务反转技术，允许模型根据特定任务的指令进行调整，而无需对模型本身进行大量修改。
- 预处理和后处理技术：SEELE结合了预处理（如对象分割和深度估计）和后处理（如局部和谐化和阴影生成）技术，以进一步提高重新定位对象的质量。
工作原理：
SEELE利用单个扩散模型来解决主体重新定位中的多个生成子任务。具体来说，SEELE包括预处理、操作和后处理三个阶段。
- 预处理：使用SAM（Segment Anything Model）等模型来识别和分割用户指定的对象，并处理遮挡关系，确保在移动对象时保持正确的透视关系。
- 操作：在这一阶段，SEELE使用一个预训练的扩散模型，通过学习的任务提示来填补空白区域、重建被遮挡的对象部分，并生成和谐的阴影。
- 后处理：SEELE通过局部和谐化来调整重新定位对象的外观，使其与周围环境更好地融合，同时可能需要生成逼真的阴影以增强现实感。
应用场景：
- 图像编辑：用户可以使用SEELE来调整照片中的主体位置，例如在家庭照片中移动人物，或者在风景照片中改变物体的位置。
- 艺术创作：艺术家和设计师可以利用SEELE来实现创意图像编辑，如在画作中重新排列元素，或者在摄影作品中创造新的构图。
- 内容创作：内容创作者可以在制作视频或图像系列时，使用SEELE来调整场景中的主体位置，以实现更多样化的视觉效果。
SEELE是一个强大的图像编辑工具，它通过结合先进的深度学习技术和用户友好的操作界面，为用户提供了一个灵活且高效的图像主体重新定位解决方案。
评论0