中国科学技术大学类脑智能感知与认知教育部重点实验室、合肥人工智能研究院和新加坡国立大学推出新型事件增强型网络 Ev-DeblurVSR ，旨在解决模糊视频超分辨率（BVSR）任务，即从低分辨率（LR）和模糊的输入视频中恢复出高分辨率（HR）的清晰视频。现有的 BVSR 方法在恢复高分辨率细节时常常失败，导致明显的伪影和抖动，这是因为这些方法缺乏足够的运动信息来进行去卷积，以及 LR 帧中缺乏高频细节。为了解决这些挑战，本文引入了事件信号（event signals），并提出了 Ev-DeblurVSR 网络。
- 项目主页：https://dachunkai.github.io/ev-deblurvsr.github.io
- GitHub：https://github.com/DachunKai/Ev-DeblurVSR
例如，在处理一个包含快速移动物体的体育视频时，现有的方法可能会因为运动模糊而无法恢复出清晰的细节。而 Ev-DeblurVSR 通过利用事件相机捕获的事件信号，能够有效地恢复出清晰的高分辨率视频，如Ev-DeblurVSR 能够恢复出车牌的细节，边缘更锐利，且几乎没有混叠现象。
主要功能
- 事件信号融合：Ev-DeblurVSR 引入了事件信号，这些信号由事件相机捕获，能够提供高时间分辨率和丰富的运动信息。
- 特征去模糊：通过互惠特征去模糊模块（Reciprocal Feature Deblurring, RFD），利用帧内事件（intra-frame events）的运动信息来去模糊帧特征，同时利用全局场景上下文来增强事件特征。
- 时间一致性增强：通过混合可变形对齐模块（Hybrid Deformable Alignment, HDA），结合帧间事件（inter-frame events）和光流（optical flow）来改善可变形对齐过程中的运动估计。
- 边缘增强损失函数：提出了一种边缘增强损失函数（edge-enhanced loss），利用事件数据中的高频信息来选择性地加权像素重建误差，从而提高恢复图像的质量。
主要特点
- 事件信号的分类利用：将事件信号分为帧内事件和帧间事件，分别用于特征去模糊和时间对齐。
- 互惠特征去模糊模块（RFD）：通过事件特征和帧特征的相互作用，实现更有效的去模糊。
- 混合可变形对齐模块（HDA）：结合事件信号和光流的优势，提高运动估计的准确性。
- 边缘增强损失函数：通过高频事件信息来优化像素重建误差，减少过平滑现象。
- 优异的性能：在多个数据集上实现了新的最高性能，特别是在真实数据上，比最近的最佳 BVSR 基线 FMA-Net 更准确，且速度更快。
工作原理
Ev-DeblurVSR 的工作原理基于以下三个核心部分：
- 事件处理：将事件信号分为帧内事件和帧间事件。帧内事件用于去模糊帧特征，帧间事件用于时间对齐。
- 互惠特征去模糊模块（RFD）：利用帧内事件的运动信息来去模糊帧特征，同时利用帧的全局场景上下文来增强事件特征。
- 混合可变形对齐模块（HDA）：结合帧间事件和光流，通过可变形卷积网络（DCN）来对齐特征，提高时间一致性。
应用场景
- 体育视频：在体育赛事的视频中，快速移动的运动员和物体常常导致运动模糊。Ev-DeblurVSR 可以恢复出清晰的高分辨率视频，帮助观众更好地观看比赛细节。
- 视频监控：在监控视频中，由于低光照和快速移动的目标，视频常常模糊不清。Ev-DeblurVSR 可以提高监控视频的分辨率和清晰度，有助于更好地识别目标。
- 自动驾驶：在自动驾驶系统中，车辆摄像头捕获的视频可能因为运动模糊而难以识别道路标志和障碍物。Ev-DeblurVSR 可以提高视频的清晰度，帮助自动驾驶系统更准确地感知环境。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
