约翰·霍普金斯大学、香港科技大学（广州）、清华大学和上海交通大学的研究人员推出一种新型的高动态范围（HDR）图像的新颖视图合成技术HDR-GS（High Dynamic Range Gaussian Splatting），这项技术的目标是利用HDR成像技术，从新的视角创建逼真的图像。HDR图像能够捕捉比普通低动态范围（LDR）图像更宽广的亮度级别，从而保留场景中更多细节。
HDR-GS能高效地生成新的HDR视角图像，并依据用户指定的曝光时间重建LDR图像。开发人员特地构建了一种双动态范围（DDR）高斯点云模型，利用球面调和函数来匹配HDR色彩，并通过一个基于多层感知机（MLP）的色调映射器来输出LDR色彩。之后，HDR和LDR色彩数据会被送入两套并行的、支持微分的光栅化流程中，各自用于生成HDR和LDR视图。为进一步推进基于三维高斯喷射技术在HDR NVS领域的研究，我们重新校正了相机参数并确定了高斯点云的原始布局。
主要功能：
- HDR图像合成：HDR-GS能够渲染出具有更广泛亮度级别的HDR图像，这些图像比LDR图像包含更多的细节。
- 新颖视图合成：该技术可以从不同的角度合成图像，即使这些角度在实际拍摄时并不存在。
- 可控曝光时间：用户可以输入曝光时间，HDR-GS能够据此渲染LDR图像。
主要特点：
- 快速渲染：与现有的基于NeRF（Neural Radiance Fields）的HDR NVS方法相比，HDR-GS在推理速度上快了1000倍。
- 训练时间短：相比于现有技术，HDR-GS只需要6.3%的训练时间。
- 双动态范围模型：HDR-GS采用了一种新的Dual Dynamic Range（DDR）高斯点云模型，可以同时处理HDR和LDR颜色。
工作原理：
- 相机参数重新校准：使用结构从运动（Structure-from-Motion, SfM）算法重新校准相机参数，并初始化高斯点云。
- DDR高斯点云模型：利用球谐函数（Spherical Harmonics, SH）来模拟HDR颜色，并通过多层感知器（MLP）基础的色调映射器将HDR颜色调整为LDR颜色。
- 并行可微光栅化：将HDR和LDR颜色输入到两个并行的不同光栅化过程中，以渲染HDR和LDR视图。
具体应用场景：
- 自动驾驶：在自动驾驶领域，HDR-GS可以用于从不同角度合成车辆周围的环境图像，帮助系统更好地理解复杂场景。
- 图像编辑：在图像编辑软件中，HDR-GS可以帮助设计师从新的视角渲染场景，提供更逼真的视觉效果。
- 数字人类生成：在电影、游戏和虚拟现实中，HDR-GS可以用于生成逼真的人类角色，并在不同光照条件下保持视觉效果的一致性。
评论0