南洋理工大学和中国科学院大学的研究人员推出一个名为ViewExtrapolator的新方法，它用于在新视角合成（novel view synthesis, NVS）领域中进行新视角外推（novel view extrapolation, NVE）。这种方法利用了稳定视频扩散（Stable Video Diffusion, SVD）的生成先验，来改进由辐射场（radiance fields）或点云渲染出的具有伪影的新视角视图，使其更加真实且伪影更少。
- 项目主页：https://kunhao-liu.github.io/ViewExtrapolator
- GitHub：https://github.com/Kunhao-Liu/ViewExtrapolator
例如，我们有一个场景，该场景从多个训练视角学习了一个辐射场模型。当我们想要合成一个远离这些训练视角的新视角视图时，通常的方法可能会产生很多伪影，导致合成的图像不真实。ViewExtrapolator能够接收这种带有伪影的视频，并利用SVD模型的生成能力，通过一个重新设计的视频扩散过程来精细化这些视图，减少伪影，生成更高质量的新视角图像。
主要功能：
- 新视角外推：ViewExtrapolator能够处理那些超出训练视角范围的新视角视图合成问题。
- 伪影减少：通过SVD模型的引导，减少由辐射场或点云渲染引起的伪影。
- 视觉质量提升：提高合成新视角视图的视觉质量和真实感。
主要特点：
- 通用性：ViewExtrapolator可以与不同的3D渲染方法配合使用，如点云渲染。
- 无需微调：作为一个推理阶段的方法，它不需要对SVD模型进行微调，节省了数据和计算资源。
- 数据高效和计算高效：不需要额外的训练数据，也不需要复杂的计算过程。
工作原理：
ViewExtrapolator的工作原理包括以下几个步骤：
- 渲染伪影视频：从训练视图出发，渲染一个逐渐过渡到新视角的视频，其中早期帧质量较高，但随着视角超出训练视图范围，伪影逐渐增多。
- SVD模型引导：利用在大规模自然视频上训练的SVD模型，对这些带有伪影的视频帧进行精细化处理。
- 引导退火和重采样退火：在去噪步骤中减少伪影的影响，并在整个去噪过程中有效提升视觉质量。
具体应用场景：
- 虚拟现实（VR）和增强现实（AR）：在这些领域中，用户可能需要从任意视角探索3D场景，ViewExtrapolator可以帮助生成高质量的新视角视图。
- 3D视频制作：在电影或游戏制作中，可能需要从新的视角合成场景，ViewExtrapolator可以提供更真实的视觉效果。
- 单目深度估计：当只有单个视角或单目视频时，ViewExtrapolator可以从这些有限的信息中合成新视角视图。
- 历史遗迹和文化遗产的数字化：对于无法从多个角度拍摄的场景，ViewExtrapolator可以帮助创建全方位的3D视图。
评论0