苹果发布 Depth Pro 2:突破单目深度估计瓶颈,同时实现视频稳定性与像素级边缘细节

图像模型4小时前发布 小马良
4 0

苹果公司正式推出了 Depth Pro 2,这是一种先进的单目深度估计技术,能够从普通相机拍摄的单个图像或视频中生成高分辨率的深度图。Depth Pro 2 旨在解决计算机视觉领域长期存在的“稳定性-清晰度”权衡难题:传统的单图方法虽然边缘清晰但视频帧间抖动严重,而视频方法虽然稳定却往往模糊了物体边缘。通过创新的跨帧联合处理机制,Depth Pro 2 成功实现了在保持时间一致性的同时,精准还原发丝、栏杆等细小结构的深度信息。

  • 项目主页:https://apple-aiml-research.github.io/ml-depth-pro-2
  • 模型:https://huggingface.co/apple/DepthPro2
苹果发布 Depth Pro 2:突破单目深度估计瓶颈,同时实现视频稳定性与像素级边缘细节

核心突破:打破稳定性与细节的零和博弈

Depth Pro 2 的核心创新在于其独特的架构设计,使其能够同时满足以下三个关键需求:

  1. 高分辨率细节保留:直接在原始分辨率下处理输入,避免了下采样导致的边缘模糊。
  2. 视频时间稳定性:通过联合处理相邻帧,确保同一物体在连续画面中的深度估计保持一致,消除闪烁和抖动。
  3. 实际尺度估计:即使在没有焦距元数据的情况下,也能通过轻量级模块估计相机视野(FOV),从而推算出具有物理意义的实际距离。

模型家族与性能表现

为了适应不同的硬件环境和应用场景,苹果发布了从轻量到大型的多个模型版本:

模型版本特点处理速度 (B200 GPU, HD 视频)适用场景
Depth Pro 2-S轻量级,速度快~53 FPS实时应用、移动端部署
Depth Pro 2-H Plus大型,精度最高~8 FPS离线高质量处理、专业创作

注:速度数据基于特定测试环境,实际表现因硬件而异。

工作原理:像“测距员”一样观察世界

Depth Pro 2 的工作流程可以比喻为一位同时关注细节和上下文的智能测距员:

  1. 分块特征提取:将画面拆解为多个小块,提取局部视觉信息。
  2. 跨帧信息交换:在处理视频时,模型会在不同帧之间交换信息,判断物体在时间轴上的连续性,从而约束深度估计的一致性。
  3. 高分辨率解码:利用提取的特征还原出每个像素的深度值,保持原始输入的清晰度。
  4. 焦距与尺度推断:若缺乏 EXIF 数据,内置的轻量模块会估算相机视野,将相对深度转换为具有物理单位的绝对深度。

测试结果:全面领先

在未参与训练的独立测试数据集上,Depth Pro 2(尤其是 H Plus 版本)展现了卓越的性能:

  • 实际尺度准确性:在视频深度测试中平均排名领先。
  • 边缘清晰度:显著优于传统视频深度估计方法,能更好地保留细小结构。
  • 时间稳定性:在连续帧间的深度波动极小,视觉效果平滑自然。

此外,实验还展示了其在背景虚化和新视角合成任务中的出色表现,证明了其生成的深度图具有极高的实用价值。

应用场景与未来展望

Depth Pro 2 不仅是一项学术研究,更将为未来的消费级产品带来实质性的体验提升:

  • 影视后期与创作:实现电影级的背景虚化效果,即使在复杂边缘(如头发、透明物体)处也能保持自然。
  • 空间计算与 AR/VR:为增强现实应用提供更精准的场景理解,支持更真实的虚拟物体遮挡与交互。
  • 照片编辑:允许用户通过单张照片生成具有轻微视差效果的动态图片,或进行精确的主体分离与重打光。

尽管目前 Depth Pro 2 主要作为底层工具提供,但其技术的成熟预示着未来手机摄影和剪辑软件将更加智能化,让用户轻松获得专业级的空间影像效果。

© 版权声明

相关文章