来自上海交大、华为、多伦多大学的研究人员推出GaussianObject框架，它能够仅用四张图片就重建出高质量的3D物体。这个框架利用了高斯溅射（Gaussian Splatting）技术，通过在稀疏视图中引入结构先验，帮助构建多视图一致性，并补充了因视角不足而遗漏或高度压缩的物体信息。GaussianObject在多个具有挑战性的数据集上展示了其强大的重建能力，显著优于以往的最先进方法。
GaussianObject通过结合结构先验和先进的渲染技术，为从稀疏视角重建3D物体提供了一个高效且高质量的解决方案。
主要功能：
- 从非常稀疏的视角（如360度范围内的4张图片）重建3D物体。
- 使用高斯溅射技术来表示和渲染3D物体。
- 通过结构先验辅助的优化，提高重建的质量和多视图一致性。
主要特点：
- 高斯修复模型： 基于扩散模型，用于修复由于视角不足导致的物体信息遗漏或压缩。
- 自生成策略： 设计了自生成策略来获取用于训练修复模型的图像对。
- 实时渲染能力： 3DGS模型提供了快速的渲染速度，使得GaussianObject能够实时渲染高质量的3D场景。
工作原理：
- 初始化与优化： 使用视觉外壳（visual hull）技术初始化3D高斯，并通过浮点消除（floater elimination）策略进一步优化，以建立物体的粗略3D表示。
- 高斯修复模型： 通过“留一训练”（leave-one-out）策略和向高斯属性添加3D噪声来生成训练图像对，然后使用这些图像对训练一个基于扩散模型的高斯修复模型。
- 距离感知采样： 在训练过程中，通过距离感知采样策略来确定需要修复的视图，然后使用修复模型来优化这些视图的3D高斯表示。
应用场景：
- 游戏和电影制作： 用于快速创建3D资产，减少多视角图像捕获的繁琐过程。
- 增强现实（AR）和虚拟现实（VR）： 在AR/VR应用中，可以用于实时渲染高质量的3D物体，提升用户体验。
- 3D建模： 为设计师和艺术家提供一个快速从现实世界物体创建3D模型的工具。
评论0