新型图像抠图技术Matting by Generation:能够生成更高分辨率和细节丰富的抠像结果

东京大学、合肥大学、Snap Research、阳明大学、香港中文大学、台湾大学和日本国立信息研究所的研究人员推出新型图像抠图技术Matting by Generation,图像抠图是指从一幅图片中精确地提取出前景对象,例如将一个人从背景中分离出来,这在计算机视觉领域有着广泛的应用,比如在制作视觉特效或图像编辑时。

Matting by Generation利用了潜在扩散模型的能力,并融入了大量的预训练知识以规范抠像过程。研究团队提出了一系列新颖的架构创新,使Matting by Generation能够生成更高分辨率和细节丰富的抠像结果。所提出的方法具有很强的通用性,既可以进行无引导的图像抠像,也可以根据各种额外线索进行有引导的图像抠像。

例如,你是一名平面设计师,需要将一张图片中的模特提取出来并放置到一个全新的背景中。使用这项技术,你只需上传模特的照片,系统就会自动生成一个精确的边界细节图,你可以轻松地将模特从背景中分离出来,并将其合成到任何你想要的背景上,从而节省了大量的手动编辑时间。

主要功能:

这项技术的核心功能是从单张图片中自动提取前景对象,并生成高质量的边界细节。与传统的基于回归的抠图方法不同,这种方法采用了基于生成模型的新途径。

主要特点:

  1. 生成式建模:与传统的回归模型相比,生成模型更擅长处理数据中的不确定性,能够更有效地学习到图像的分布。
  2. 高质量细节生成:利用丰富的生成先验知识,该方法能够生成接近照片级真实感的高质量边界细节。
  3. 灵活性:能够处理无引导(不需要额外的线索)和有引导(可以接收额外的提示,如文本或草图)的图像抠图任务。

工作原理:

这项技术使用了一个预训练的潜在扩散模型(latent diffusion model),这个模型通过在数十亿图像上的训练,积累了丰富的图像语义和细节知识。在训练过程中,模型学习如何从带有噪声的样本中提取出低频信息(如前景和背景)和高频信息(如边界细节)。在推理阶段,模型可以接收一个输入图像,并生成对应的 alpha matte(一种表示图像中每个像素透明度的灰度图),从而实现前景与背景的分离。

具体应用场景:

  • 视觉特效合成:在电影或视频制作中,可以用来将演员从原始背景中分离,然后合成到一个新的背景中。
  • 图像编辑:在照片编辑软件中,用户可以使用这项技术来快速抠出人物或其他对象,进行进一步的编辑或合成。
  • 电子商务:在线服装零售商可以利用这项技术来展示服装在不同模特上的效果,而无需实际拍摄。
0

评论0

没有账号?注册  忘记密码?