在 AI 图像和视频编辑领域，对象移除（Object Removal）技术的发展速度已经远远超过了评估它们的指标。当前的扩散模型能够令人信服地重建阴影、反射和遮挡结构，但传统的评估指标如 PSNR、SSIM 甚至较新的 ReMOVE 和 CFD，却经常给出与人类感知背道而驰的排序。
- 项目主页：https://xiaomi-research.github.io/prove
- GitHub：https://github.com/xiaomi-research/prove
为了解决这一结构性难题，来自小米公司 MiLM Plus 团队的研究人员发布了 PROVE（Perceptual Removal Consistency，感知移除一致性）。该成果已被 ACM MM 2026 接收，并开源了基于 Apache 2.0 许可的 PyTorch 实现。PROVE 通过引入两个无需参考视频的感知对齐指标——RC-S（空间一致性）和 RC-T（时间一致性），以及一个真实世界视频基准 PROVE-Bench，为对象移除质量的评估设立了新标准。
为什么现有指标失效了？
对象移除本质上是一个不适定的一对多任务：对于同一个被移除的对象，存在多种合理的修复结果，因此不存在唯一的“真实值”（Ground Truth）。现有指标的失效模式主要体现在：
- 全参考偏差：PSNR 和 SSim 假设逐点对应，倾向于奖励“复制粘贴”而非真正的语义擦除。更糟糕的是，减少扩散推理步数导致的模糊输出往往能获得更高的 PSNR/SSIM 分数，尽管视觉质量明显下降。
- 无参考盲区：ReMOVE 和 CFD 等无参考指标对局部瑕疵不敏感。实验显示，即使逐步模糊掩码区域，这些指标的得分也不会下降，甚至可能因为减少了高频噪声而超过未编辑的基线。
- 时间不敏感性：现有的时间一致性指标在全帧特征上操作，由于编辑区域通常只占帧的一小部分，全局聚合会掩盖局部的闪烁和不连贯。
PROVE 的核心创新：局部分布匹配
PROVE 摒弃了全局聚合，转而采用基于 DINOv2 特征的**滑动窗口最大均值差异（MMD）**进行局部分布匹配。
- RC-S（空间一致性）：
- 通过连通分量分析将掩码分割为独立目标。
- 在每个目标的扩展边界框内，使用滑动窗口计算掩码区域特征与局部背景特征之间的 MMD。
- 优势：RC-S 与人类排名的平均 Kendall’s τ 达到 0.59，远超 ReMOVE (0.26) 和 CFD (0.16)。在扰动测试中，RC-S 在 100% 的情况下偏好清晰图像，而竞品指标则频繁出错。
- RC-T（时间一致性）：
- 针对相邻帧，仅在两帧掩码的交集区域（即都被修复的区域）计算 MMD，以避免错位带来的干扰。
- 优势：RC-T 对注入的时间扰动呈单调响应，能准确捕捉视频中的闪烁和不连贯现象。
PROVE-Bench：更贴近真实的评估基准
为了验证指标的有效性，团队构建了 PROVE-Bench，包含两层数据：
- PROVE-M：80 个配对视频，包含三脚架拍摄的输入和无目标镜头，经过 SAM3 掩码精炼和 Ken Burns 风格运动增强。
- PROVE-H：100 个高难度无真实值视频，涵盖人群、流水、火焰、复杂反射等场景，故意使用未经精炼的掩码以模拟真实世界的噪声。
在公开排行榜上，SVOR (1.3B) 模型在 RC-S 上表现最佳，而 EffectErase 在 RC-T 上领先。
部署与应用
PROVE 作为一个评估工具，极易集成到现有的工作流中：
- 硬件要求：单张 RTX 4090 即可运行，RC-S 处理速度为 134.6 ms/帧，比 CFD 快 13.7 倍。
- 应用场景：
- CI/CD 门控：在模型迭代过程中自动拦截质量下降的版本。
- 超参数调优：无需人工标注即可调整推理步数或量化策略。
- 数据过滤：从大规模训练数据中剔除低质量的移除样本。
- 适用行业：智能手机图库、短视频编辑、电商目录清理、影视后期及地图隐私编辑。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
