牛津大学的研究人员推出一种新的3D场景生成技术Invisible Stitch，这项技术的目标是生成平滑且连贯的3D场景，特别是通过深度修复（depth inpainting）来改善场景的几何一致性。首先，开发人员注意到使用单目深度估计模型将图像提升到3D空间是次优的，因为它忽略了现有场景的几何形状。因此，开发人员引入了一种新颖的深度完成模型，通过教师蒸馏和自训练来学习3D融合过程，从而提高了场景的几何一致性。其次，开发人员为场景生成方法引入了一种新的基准测试方案，该方案基于真实几何形状，从而衡量场景结构的质量。
- 项目主页：https://research.paulengstler.com/invisible-stitch
- GitHub：https://github.com/paulengstler/invisible-stitch
- Demo：https://huggingface.co/spaces/paulengstler/invisible-stitch
例如，你是一名电影视觉效果师，需要创建一个古代城市的3D模型。使用“隐形缝合”技术，你可以从一张城市的照片开始，系统将自动生成城市的其他视角，并填充出城市中缺失的部分，最终形成一个完整的3D场景。这个场景可以在电影中用来制作飞行穿越城市的镜头，或者作为游戏世界的背景。
主要功能
- 3D场景生成：从单一图像或文本描述生成整个3D场景。
- 深度修复：在已有的3D场景中填充缺失的深度信息，以提高场景的几何连贯性。
主要特点
- 改进的几何一致性：通过考虑现有场景的几何结构，改进了从2D图像到3D场景的转换过程。
- 自我训练和教师模型：使用自我训练和教师模型的方法来训练深度完成模型，从而提高场景的3D融合过程。
- 新的基准测试方案：提出了一种基于真实几何体的基准测试方案，用于评估场景生成方法的质量。
工作原理
- 深度估计网络：使用一个深度估计网络来从输入图像中预测深度图。
- 深度修复：通过自我训练的方式，让网络学习如何在存在缺失深度信息的情况下，生成与现有场景几何结构一致的深度图。
- 场景表示：将场景表示为点云，通过迭代过程逐步扩展场景表示，确保每个视图的一致性。
- 生成新视图：从新的视点渲染场景，并使用生成模型填充之前未见过的区域。
具体应用场景
- 虚拟现实（VR）：生成沉浸式的3D环境，用于虚拟现实体验。
- 增强现实（AR）：为增强现实应用创建与现实世界无缝融合的3D场景。
- 游戏开发：生成游戏环境的3D场景，提高游戏的互动性和真实感。
- 电影制作：在计算机生成图像（CGI）中创建复杂的3D场景，用于电影特效。
评论0