耶路撒冷希伯来大学的研究人员推出图像编辑方法Click2Mask，它能够让用户通过简单的点击来实现对图片的局部编辑，而不需要复杂的遮罩或详细的描述。总的来说，Click2Mask提供了一种直观且高效的方式来对图片进行局部编辑，使得非专业人士也能够轻松地进行图像生成和编辑，极大地扩展了图像编辑的应用范围和可能性。
Click2Mask是一种新颖的方法，通过只需要一个参考点（除了内容描述之外）来简化局部编辑过程。在混合潜在扩散（BLD）过程中，围绕这个点动态生长一个掩码，由基于掩码的CLIP语义损失引导。Click2Mask超越了基于分割和依赖微调的方法的限制，提供了一个更用户友好且在上下文中更准确的解决方案。实验表明，Click2Mask不仅最小化了用户的工作量，而且在根据人类判断和自动指标，与现有最佳（SoTA）方法相比，在局部图像处理结果上提供了竞争性或更优的性能。
主要功能：
- 动态遮罩生成： 用户只需在图片上点击一个点，系统就会自动生成一个遮罩，并根据用户的编辑需求动态调整遮罩的大小和形状。
- 局部内容添加： 允许用户在图片的指定区域内添加新的内容，如在背景中添加一只猩猩或在卡车后部添加一堆岩石。
主要特点：
- 简化用户输入： 用户不需要提供精确的遮罩或复杂的描述，只需一个点击和一个内容描述。
- 自由添加对象： 不受现有对象或区域边界的限制，可以自由地在图片中添加新的对象。
- 上下文准确性： 通过考虑图片的上下文信息，确保添加的内容与周围环境协调一致。
工作原理：
- 点击定位： 用户在图片上点击一个点，作为编辑的参考点。
- 遮罩动态生成： 系统围绕点击点动态生成遮罩，并通过混合潜在扩散（BLD）过程进行优化，使用基于Alpha-CLIP的语义损失来引导遮罩的生成。
- 内容添加： 利用生成的遮罩，系统在指定区域内添加用户描述的内容，同时保持图片的其他部分不变。
具体应用场景：
- 数字艺术创作： 艺术家和设计师可以使用Click2Mask在现有图片上添加新的元素，如在风景画中添加飞鸟或在城市景观中添加新的建筑。
- 照片编辑： 用户可以轻松地在照片中添加或修改元素，如在旧照片中添加现代物品或在家庭照片中添加缺失的家庭成员。
- 在线内容制作： 内容创作者可以利用Click2Mask快速编辑图片，为社交媒体帖子或在线广告创建吸引人的视觉内容。
评论0