图像编辑技术ObjectDrop：专注于实现照片级别的物体移除和插入

来自谷歌和耶路撒冷希伯来大学的研究团队推出图像编辑技术ObjectDrop，专注于实现照片级别的物体移除和插入。这项技术的目标是在不违反物理规律（例如遮挡、阴影和反射）的前提下，对图像进行编辑，使得编辑后的图像既视觉上吸引人，又在物理上看起来合理。

主要功能和特点：

• 物体移除：ObjectDrop能够从照片中精确地移除物体，包括它们在场景中产生的阴影和反射。

• 物体插入：它还能够在图像中插入物体，并生成与场景相匹配的阴影和反射，使物体看起来像是原本就存在于场景中。

• 高质量编辑：该系统在保持物体身份不变的同时，能够生成更加逼真的阴影和反射效果。

• 自监督学习：通过使用自监督学习方法，ObjectDrop利用小型的“反事实”数据集进行训练，这些数据集包含了物体存在和移除后的场景图像。

工作原理：

ObjectDrop的核心技术是利用所谓的“反事实”数据集来训练一个扩散模型。这个数据集包含了在物体被移除前和移除后的场景图像。通过比较这两张图像，模型学习到物体对场景的影响，包括遮挡、阴影和反射等效果。 对于物体插入任务，由于需要大量数据来训练模型以生成逼真的阴影和反射，ObjectDrop采用了一种称为“自举监督”的方法。它首先使用小型的反事实数据集训练一个物体移除模型，然后将这个模型应用于大量未标记的图像数据集，创建一个合成的反事实数据集。最后，在这个大型数据集上训练扩散模型，以实现高质量的物体插入。

具体应用场景：

• 照片修复和美化：ObjectDrop可以用于修复旧照片，移除不想要的物体或添加缺失的元素。

• 艺术创作：艺术家和设计师可以利用这个工具在照片中添加或移除物体，创造全新的视觉效果。

• 电影和游戏制作：在电影后期制作和游戏场景设计中，ObjectDrop可以用来修改场景，无需重新拍摄或渲染。

• 电子商务：在线零售商可以使用这项技术来展示产品在不同环境中的外观，或者从产品照片中移除背景干扰。

ObjectDrop是一个强大的图像编辑工具，它通过理解和模拟物体对场景的影响，提供了一种新的、高质量的图像编辑解决方案。