来自的谷歌的研究人员推出名为“Binary Opacity Grids”的新方法，它用于从多视角图像重建三角网格，并能够捕捉到精细的几何细节，如叶子、树枝和草地等。这种方法在保持低计算成本的同时，能够生成高质量的视图合成，甚至可以在智能手机上实时渲染。
主要功能：
- 从多视角图像中重建精细的三维模型。
- 生成的模型可以在移动设备上实时渲染，同时保持高质量的视图合成效果。
主要特点：
- 二进制不透明度网格：使用离散的不透明度网格代替连续的密度场，允许不透明度值在表面处从零到一不连续地过渡。
- 抗锯齿处理：通过为每个像素投射多条光线，模型能够精确地再现抗锯齿的遮挡边界，而不需要使用半透明的体素。
- 二进制熵最小化：通过最小化不透明度值的二进制熵，鼓励在训练结束时将不透明度值二值化，从而便于提取表面几何。
- 基于融合的网格生成策略：在训练后，将恢复的二进制不透明度网格转换为三角网格，并通过简化和外观模型拟合来优化网格。
工作原理：
- 训练阶段：使用一个3D收缩函数表示场景，并通过MLP（多层感知器）预测网格值。为了处理高分辨率网格，采用从粗到细的策略，并在训练过程中使用预训练的提案MLP来指导网格的采样。
- 渲染阶段：通过从相机原点投射光线，与网格中的体素相交，计算每个像素的最终值。使用前到后的alpha合成方法来渲染像素。
- 网格转换：训练完成后，将二进制不透明度网格转换为三角网格。通过体积融合、简化和可见性剔除来减少网格的复杂性，同时保留细节。
- 外观模型：为网格配备一个轻量级的视图依赖外观模型，适合实时查看应用。使用三平面和低分辨率体素网格的组合来表示网格的外观。
具体应用场景：
- 实时渲染：该方法可以在智能手机等移动设备上实时渲染高质量的三维场景，适用于游戏、增强现实（AR）和虚拟现实（VR）应用。
- 三维建模：用于从多视角图像中重建精细的三维模型，适用于电影制作、建筑可视化和文化遗产保护等领域。
- 计算机图形学：在需要高质量视图合成的应用中，如电影特效、动画制作和交互式设计，提供更精细的几何细节和更高效的渲染方法。
评论0