在处理真实世界视频超分辨率任务时，基于生成对抗网络（GAN）的方法常常面临过度平滑的问题，而图像扩散模型虽然能部分解决这一问题，但在保持时间一致性方面表现不佳。为了解决这些问题，来自南京大学、字节跳动和西南大学的研究团队提出了新型视频超分辨率（VSR）框架STAR，STAR 旨在通过整合文本到视频（T2V）模型，解决真实世界视频超分辨率中的空间细节和时间一致性问题。例如，在一个监控视频的超分辨率任务中，STAR 能够清晰地恢复出视频中的人脸细节和文字信息，同时保持视频帧之间的平滑过渡，避免出现因超分辨率处理导致的图像抖动或模糊现象。
STAR的核心贡献
STAR 主要致力于克服两个主要挑战：一是如何有效减轻复杂退化带来的伪影；二是如何在保证高保真度的同时利用强大的 T2V 模型的能力。为此，STAR 引入了两种关键的技术改进：
- 局部信息增强模块（LIEM）：在全局注意力块之前引入，专注于丰富视频帧中的局部细节，同时减少由于复杂退化导致的伪影。通过多尺度特征提取和融合，LIEM 能够有效地捕捉并增强视频中的细微结构。
- 动态频率（DF）损失：这是一种新的损失函数，能够在扩散过程中自适应地调整对高频和低频成分的关注程度。早期步骤更注重于维持结构的一致性，而后期则转向强化细节清晰度，从而确保生成视频的质量和逼真度。
主要功能
- 空间细节增强：STAR 能够有效地恢复低分辨率视频中的空间细节，如人脸、文字等，使其在放大后依然保持清晰和真实感。例如，在对一段低分辨率的新闻报道视频进行超分辨率处理时，STAR 可以清晰地呈现出新闻主播的面部表情和口型变化，以及背景中的文字信息。
- 时间一致性保持：在视频帧序列的超分辨率处理中，STAR 能够保持良好的时间一致性，避免出现因帧间差异导致的视觉不连贯现象。例如，在对一段运动视频进行超分辨率处理时，STAR 可以确保运动员的动作在视频帧之间平滑过渡，不会出现因超分辨率处理导致的动作卡顿或变形问题。
- 真实世界视频处理：STAR 特别针对真实世界视频中的复杂退化情况（如噪声、模糊和压缩等）进行了优化，能够有效地去除这些退化因素，恢复出高质量的视频内容。例如，在对一段因信号传输问题导致画质受损的远程会议视频进行超分辨率处理时，STAR 可以去除视频中的噪声和模糊，使参会人员的图像清晰可见，提高会议的观看体验。
主要特点
- 局部信息增强模块（LIEM）：STAR 引入了 LIEM，用于在全局自注意力模块之前增强局部信息，从而更好地处理视频中的局部细节和退化现象。这一模块能够使模型在超分辨率过程中优先关注和恢复局部区域的细节，提高视频的空间质量。
- 动态频率损失（DF Loss）：STAR 提出了 DF Loss，用于在不同的扩散步骤中引导模型关注不同频率成分的恢复。这一损失函数能够使模型在早期扩散步骤中优先恢复低频信息（如结构和大块区域），而在后期扩散步骤中则专注于高频信息（如边缘和纹理），从而在保持视频结构完整性的同时，提升细节的清晰度和真实感。
- 强大的 T2V 模型整合：STAR 充分利用了 T2V 模型的强大生成能力，通过整合 T2V 扩散先验，为视频超分辨率任务提供了丰富的空间和时间信息。这一整合使得 STAR 在处理真实世界视频时，能够更好地捕捉视频中的动态变化和细节信息，提高超分辨率的效果。
工作原理
- VAE 编码器和解码器：STAR 使用变分自编码器（VAE）对高分辨率和低分辨率视频进行编码和解码，生成相应的潜在张量。VAE 编码器将输入视频转换为潜在表示，而解码器则将潜在表示还原为视频帧。
- 文本编码器和 ControlNet：文本编码器负责生成文本嵌入，提供高层次的信息，而 ControlNet 则根据文本嵌入和潜在张量生成控制信号，指导 T2V 模型的输出。
- T2V 模型和 LIEM：T2V 模型接收噪声输入和控制信号，预测视频帧的速度场。LIEM 在 T2V 模型的全局自注意力模块之前发挥作用，增强局部信息的处理能力。
- DF Loss 和优化：通过 DF Loss 的引导，STAR 在不同扩散步骤中对不同频率成分的恢复进行优化，最终实现高质量的视频超分辨率结果。
实验结果与优势
实验表明，STAR 在多个基准测试中展示了优异的表现，特别是在时间一致性和视觉质量方面。相比传统的 GAN 和其他扩散模型，STAR 显著提高了视频的时间连贯性，并减少了伪影，提供了更加清晰、真实的细节。此外，STAR 还成功地平衡了 CogVideoX-5B 等强大 T2V 模型可能带来的保真度下降问题。
评论0