来自德克萨斯大学奥斯汀分校、英伟达、厦门大学、佐治亚理工学院、斯坦福大学和南加州大学推出新型视图合成技术InstantSplat，它能够在极短的时间内（大约40秒）从稀疏的、没有相机姿态信息的图像中重建和渲染出新视角的3D场景。这项技术特别适用于处理在不受限制的环境下拍摄的图像，例如使用智能手机在户外随意拍摄的照片。
例如，想象一个电影制片人想要在一部历史剧中重现一个古城的场景。他们可以在不同的位置拍摄几张照片，然后使用InstantSplat技术快速重建出古城的3D模型，并从导演想要的任何角度渲染出高质量的视图，从而在后期制作中节省大量的时间和资源。
主要功能和特点：
- 快速处理：InstantSplat能够在不到一分钟的时间内处理大规模场景的3D重建和新视角的渲染。
- 无需相机参数：与传统的方法不同，InstantSplat不需要预先知道相机的内参和外参，它能够从端到端的密集立体模型中获取这些信息。
- 高质量渲染：该方法显著提高了渲染质量，同时减少了相机轨迹误差，使得合成的视图更加逼真。
工作原理：
InstantSplat结合了基于点的表示方法（例如3D高斯溅射）和端到端的密集立体模型（DUSt3R），通过以下步骤实现：
- 粗略几何初始化：使用DUSt3R从输入的图像对中预测全局对齐的3D点云，并初始化相机参数。
- 快速3D高斯优化：在初始化的基础上，进一步优化3D高斯属性和相机参数，同时施加正则化以提高精度。
具体应用场景：
- 大规模户外场景重建：可以用于重建城市景观、古迹或自然风景等大规模户外场景，并从新的视角进行渲染。
- 虚拟现实和增强现实：InstantSplat可以用于创建VR/AR应用中的3D场景，提供用户可以在虚拟环境中从不同角度探索的体验。
- 电影和游戏制作：在娱乐产业中，这项技术可以用来快速生成电影或游戏中的场景，加速内容的创作过程。
评论0