中山大学深圳校区网络科学与技术学院、南洋理工大学S实验室和华为诺亚方舟实验室的研究人员推出新型图像超分辨率技术S3Diff ，简单来说，这是一种能让模糊的低分辨率图片变清晰的方法。研究团队引入了一种新颖的一步SR模型，极大地解决了基于扩散的SR方法的效率问题。与现有的微调策略不同，研究团队专门为SR设计了一个基于退化引导的低秩适应（LoRA）模块，该模块根据来自低分辨率图像的预估计退化信息来纠正模型参数。这个模块不仅促进了一个强大的数据依赖或退化依赖的SR模型，而且尽可能地保留了预训练扩散模型的生成先验。此外，研究团队通过引入在线负样本生成策略，定制了一种新的训练流程。结合推理过程中的无分类器引导策略，它大幅提高了超分辨率结果的主观质量。
主要功能：
- 单步超分辨率：与通常需要多次迭代的图像超分辨率方法不同，这篇论文提出的方法只需要一步就能完成图像的超分辨率处理。
- 退化引导：该方法考虑了造成图像模糊的退化过程，使模型能够更准确地预测和恢复图像细节。
主要特点：
- 效率：由于只需要一步处理，该方法在实际应用中可以极大提高效率。
- 退化模型：考虑了图像退化的信息，提高了超分辨率的质量。
- 预训练模型的使用：利用了大型预训练文本到图像的扩散模型作为先验，增强了图像的细节生成能力。
工作原理：
- 使用预训练的扩散模型：扩散模型是一种生成模型，能够生成高质量的图像。该方法使用了一种经过蒸馏的变体，称为SD-Turbo，它在少量的扩散步骤中就能生成图像。
- 退化引导的LoRA模块：LoRA（Low-Rank Adaptation）是一种参数调整方法，这里被用来根据预先估计的退化信息调整模型参数。
- 在线负样本生成策略：在训练过程中，通过将低分辨率图像与负面的文本提示配对，帮助模型理解什么样的输出是质量低下的。
具体应用场景：
- 老照片清晰化：将家里的老照片、模糊照片通过此技术变得清晰。
- 监控视频增强：提升监控摄像头捕捉到的模糊图像的清晰度，帮助识别细节。
- 医学影像处理：提高医学扫描图像的分辨率，帮助医生更好地诊断。
评论0