浙江大学CAD与CG国家重点实验室推出一种新技术，用于从多视角点光源输入图像中实时合成高质量的新光照和视图。他们的方法称为 GS^3，使用基于空间和角度的高斯表示，并结合三重 splatting 过程。简单来说，GS3能够从一个物体在多个视角下、由单个点光源照明的输入图像中，快速生成在不同光照和视角下的新图像。这就像是一个虚拟世界的魔术师，能够根据几张不同角度拍摄的照片，变出一个全新的、在不同光线下看起来完全真实的物体。
- 项目主页：https://gsrelight.github.io
- GitHub：https://github.com/gsrelight/gs-relight
- 数据：https://huggingface.co/datasets/gsrelight/gsrelight-data
GS^3实现了以下功能：
- 实现了每场景使用 500-2,000 张照片的自由视角重新照明
- 使用 Lambertian 加上角度高斯混合来处理复杂反射
- 通过 splatting 和细化生成自阴影
- 使用额外的网络补偿全局光照效果
- 在 30 个多样本上展示了有效性
- 实现了在单个 GPU 上 40-70 分钟的训练时间和 90 fps 的渲染
主要功能和特点
- 实时渲染：GS3能够实现高达90帧每秒的渲染速度，这意味着它可以用于需要实时反馈的场景，比如虚拟现实或增强现实。
- 高质量图像合成：GS3能够处理具有复杂几何形状和外观的物体，生成的图像质量非常高，能够逼真地模拟现实世界的光照效果。
- 三重高斯绘制（Triple Gaussian Splatting）：这是GS3的核心，它通过三个步骤来处理图像：阴影计算、全局光照补偿和其他效果的处理。
- 广泛的适用性：GS3可以处理从合成/重建对象的渲染图像到手持相机和专业灯光设备拍摄的照片。
工作原理
GS3的工作原理基于空间和角度高斯的表示方法，以及一个三重绘制过程：
- 阴影计算：通过将所有空间高斯向光源方向绘制（splatting），计算出阴影值，并通过一个小型多层感知机（MLP）进行细化。
- 全局光照补偿：另一个MLP被训练用来计算和添加每个空间高斯的RGB值，以补偿全局光照等其他效果。
- 最终图像合成：将上述三个因素绘制到相机并混合，产生最终的图像。
具体应用场景
- 文化遗产：在虚拟博物馆中，GS3可以用来重现历史文物在不同光照下的样子，提供更加丰富的参观体验。
- 电子商务：在线购物平台可以利用GS3技术，让消费者在购买前看到产品在不同光照下的效果，帮助他们做出更好的购买决策。
- 视觉特效：在电影和游戏制作中，GS3可以用于创建逼真的环境和物体，提高视觉效果的质量。
总的来说，GS3是一种强大的图像合成技术，它能够在不同的光照和视角下，快速且高质量地重现物体的外观，为多种应用提供了新的可能性。
评论0