来自中国科学院深圳先进技术学院、上海AI实验室、悉尼大学、香港理工大学、，腾讯PCG ARC实验室、香港中文大学的研究人员推出图像高清修复技术SUPIR（Scaling-UP Image Restoration），它能够将真实世界中的低质量图像提升到高质量水平。
- 项目主页：https://supir.xpixel.group
- GitHub：https://github.com/Fanghua-Yu/SUPIR
- Demo：https://replicate.com/cjwbw/supir
SUPIR的核心优势在于它结合了生成模型的先验知识和模型扩展技术，这使得它在智能和逼真的图像修复方面取得了显著的成就。
主要功能和特点：
- 文本提示驱动的修复：SUPIR能够根据用户提供的文本提示来指导图像修复过程，例如，它可以修复远处模糊的物体、定义物体的材质纹理，或者根据文本描述调整修复效果。
- 大规模数据集：为了训练模型，研究者构建了一个包含2000万张高分辨率、高质量图像的数据集，每张图像都配有详细的描述性文本，这为模型提供了丰富的学习材料。
- 负质量提示：通过引入负质量提示，SUPIR能够进一步提升修复后的图像质量。这些提示帮助模型理解并避免生成低质量的图像特征。
- 恢复引导采样：SUPIR采用了一种创新的修复引导采样方法，确保生成的图像在保持原始内容的同时，质量得到提升。
工作原理：
SUPIR的工作原理主要包括以下几个关键步骤：
- 模型扩展：利用StableDiffusion-XL（SDXL）作为生成模型的先验，这是一个拥有26亿参数的模型。为了有效利用这个模型，研究者设计了一个超过6亿参数的适配器。
- 数据集构建：收集了大量的高质量图像，并为每张图像提供了描述性文本，使模型能够通过文本提示来控制修复过程。
- 负样本训练：将低质量的图像和负质量提示加入训练数据，使模型学会避免生成低质量的图像特征。
- 修复引导采样：在图像修复过程中，模型根据输入的低质量图像和文本提示，通过一系列扩散步骤生成高质量的图像，同时确保生成的图像与输入图像保持高度一致。
应用场景：
SUPIR的应用非常广泛，包括但不限于：
- 照片修复：修复老旧或损坏的照片，提升图像清晰度和细节。
- 历史文档修复：恢复和增强历史文档和手稿的图像，以便更好地保存和研究。
SUPIR是一个强大的图像修复工具，它通过结合先进的生成模型和大规模数据集，能够在各种复杂和挑战性的现实世界场景中实现高质量的图像修复。
评论0