最近的视频建模技术取得了显著进展，使得在生成的视频中可以控制摄像机轨迹。然而，这些方法通常不能直接应用于用户提供的视频，因为这些视频不是由视频模型生成的。为了解决这一问题，谷歌和新加坡国立大学的研究人员提出了一种新的方法——ReCapture。
ReCapture 方法概述
ReCapture 是一种从单个用户提供的视频生成具有新颖摄像机轨迹的新视频的方法。该方法允许以完全不同的角度和电影化的摄像机运动重新生成参考视频，同时保留其所有现有的场景运动。此外，ReCapture 还可以合理地幻化参考视频中不可观察的场景部分。例如，你有一个视频，内容是一个人在房间里走动。使用ReCapture，你可以生成一个新视频，其中相机从房间的不同角度捕捉这个人的走动，甚至可以包括一些原始视频中没有的视角，比如从房间的另一侧或者从上方观察。
技术细节
ReCapture 方法分为两个主要步骤：
1、生成噪声锚视频：
-
多视角扩散模型：使用多视角扩散模型生成具有新摄像机轨迹的噪声锚视频。 -
基于深度的点云渲染：使用基于深度的点云渲染技术生成具有新摄像机轨迹的噪声锚视频。
2、重新生成干净且时间一致的视频：
-
掩码视频微调技术：使用提出的一种掩码视频微调技术，将噪声锚视频重新生成为干净且时间一致的重新定位视频。
具体步骤
1、生成噪声锚视频：
-
多视角扩散模型：通过多视角扩散模型生成具有新摄像机轨迹的噪声视频。这种模型可以从多个视角生成视频帧，从而提供丰富的视角变化。 -
基于深度的点云渲染：通过基于深度的点云渲染技术生成具有新摄像机轨迹的噪声视频。这种技术利用深度信息生成三维点云，然后从新的视角渲染视频帧。
2、重新生成干净且时间一致的视频：
-
掩码视频微调技术：使用掩码视频微调技术，将生成的噪声锚视频重新生成为干净且时间一致的视频。这种方法通过微调生成的视频，使其更加清晰和连贯，同时保持新摄像机轨迹的效果。
优点
-
视角变化：ReCapture 可以生成具有全新摄像机轨迹的视频，提供不同的视角和电影化的摄像机运动。 -
场景保留：生成的视频保留了参考视频中的所有现有场景运动。 -
幻化不可观察部分：ReCapture 还可以合理地幻化参考视频中不可观察的场景部分，使生成的视频更加完整和自然。
应用场景
-
影视制作：电影和电视剧制作中，可以使用ReCapture生成具有不同摄像机轨迹的场景，提高创意表达和视觉效果。 -
虚拟现实：虚拟现实应用中，可以使用ReCapture生成具有不同视角的沉浸式视频内容。 -
视频编辑：视频编辑和后期制作中，可以使用ReCapture重新生成视频，增加视角变化和动态效果。
评论0