东京大学、合肥大学、Snap Research、阳明大学、香港中文大学、台湾大学和日本国立信息研究所的研究人员推出新型图像抠图技术Matting by Generation，图像抠图是指从一幅图片中精确地提取出前景对象，例如将一个人从背景中分离出来，这在计算机视觉领域有着广泛的应用，比如在制作视觉特效或图像编辑时。
Matting by Generation利用了潜在扩散模型的能力，并融入了大量的预训练知识以规范抠像过程。研究团队提出了一系列新颖的架构创新，使Matting by Generation能够生成更高分辨率和细节丰富的抠像结果。所提出的方法具有很强的通用性，既可以进行无引导的图像抠像，也可以根据各种额外线索进行有引导的图像抠像。
例如，你是一名平面设计师，需要将一张图片中的模特提取出来并放置到一个全新的背景中。使用这项技术，你只需上传模特的照片，系统就会自动生成一个精确的边界细节图，你可以轻松地将模特从背景中分离出来，并将其合成到任何你想要的背景上，从而节省了大量的手动编辑时间。
主要功能：
这项技术的核心功能是从单张图片中自动提取前景对象，并生成高质量的边界细节。与传统的基于回归的抠图方法不同，这种方法采用了基于生成模型的新途径。
主要特点：
- 生成式建模：与传统的回归模型相比，生成模型更擅长处理数据中的不确定性，能够更有效地学习到图像的分布。
- 高质量细节生成：利用丰富的生成先验知识，该方法能够生成接近照片级真实感的高质量边界细节。
- 灵活性：能够处理无引导（不需要额外的线索）和有引导（可以接收额外的提示，如文本或草图）的图像抠图任务。
工作原理：
这项技术使用了一个预训练的潜在扩散模型（latent diffusion model），这个模型通过在数十亿图像上的训练，积累了丰富的图像语义和细节知识。在训练过程中，模型学习如何从带有噪声的样本中提取出低频信息（如前景和背景）和高频信息（如边界细节）。在推理阶段，模型可以接收一个输入图像，并生成对应的 alpha matte（一种表示图像中每个像素透明度的灰度图），从而实现前景与背景的分离。
具体应用场景：
- 视觉特效合成：在电影或视频制作中，可以用来将演员从原始背景中分离，然后合成到一个新的背景中。
- 图像编辑：在照片编辑软件中，用户可以使用这项技术来快速抠出人物或其他对象，进行进一步的编辑或合成。
- 电子商务：在线服装零售商可以利用这项技术来展示服装在不同模特上的效果，而无需实际拍摄。
评论0