来自上海科技大学和图宾根大学的研究团队推出2D Gaussian Splatting（2DGS），它是一种用于从多视角图像重建和渲染三维场景的方法。
2DGS的核心思想是将3D体积简化为一系列2D定向平面高斯圆盘。与3D高斯不同，2D高斯在建模表面时能提供视图一致的几何表示。为了精确恢复薄表面并实现稳定的优化，2DGS引入了基于射线溅射交点和光栅化的透视准确2D溅射过程。此外，2DGS还加入了深度失真和法线一致性项，以进一步提升重建质量。2DGS的可微分渲染器能够实现无噪声且详细的几何重建，同时保持出色的外观质量、快速的训练速度和实时渲染能力。
例如，你有一堆从不同角度拍摄的照片，你想用这些照片来创建一个可以从未拍照的角度查看的三维模型，这就是2DGS所做的工作。
主要功能和特点：
- 几何精确性： 2DGS能够精确地重建物体的表面，即使是复杂的细节也能捕捉得很好。
- 实时渲染： 该技术能够实时渲染出高质量的新视角图像，这意味着它可以快速生成看起来非常真实的图像。
- 噪声减少： 通过使用2D高斯模型，2DGS能够减少重建过程中的噪声，提供更清晰的结果。
- 不同视角的一致性： 与传统的3D高斯方法相比，2DGS在不同视角下提供一致的几何形状，这意味着从任何角度看，重建的模型都应该是连贯的。
工作原理：
2DGS的工作原理是将三维空间中的体积“压缩”成一系列二维平面高斯圆盘。这些圆盘紧密地对齐到物体的表面上，并且能够从多个视角提供一致的几何形状。在渲染时，这些二维圆盘通过一种称为“splatting”的过程被投影到图像平面上，这个过程考虑了光线与圆盘的交点，从而实现了透视准确的渲染。
具体应用场景：
- 虚拟现实和增强现实： 2DGS可以用于创建VR和AR应用中的三维场景，提供更加真实的用户体验。
- 电影和游戏制作： 在电影和游戏中，经常需要从不同角度渲染复杂的三维场景。2DGS可以帮助制作人员快速生成高质量的图像。
- 三维建模和设计： 对于建筑、产品设计等领域，2DGS可以作为一种强大的工具，帮助设计师从现有的二维图像创建三维模型。
- 文化遗产保护： 通过重建历史遗迹和文物的三维模型，2DGS可以用于文化遗产的数字化和保护工作。
2D Gaussian Splatting是一种强大的三维场景重建技术，它通过精确地建模和渲染，为各种应用领域提供了高质量的视觉效果。
评论0