Stability AI和伊利诺伊大学厄巴纳-香槟分校的研究人员推出一个用于从单视图图像重建高质量3D对象的先进框架SPAR3D，SPAR3D通过结合回归模型和生成模型的优势，实现了高效的3D重建，同时支持用户交互式编辑。该方法在保持高计算效率和输出保真度的同时，显著提高了3D重建的质量。
- 项目主页：https://spar3d.github.io
- GitHub：https://github.com/Stability-AI/stable-point-aware-3d
- 模型：https://huggingface.co/stabilityai/stable-point-aware-3d
- Demo：https://huggingface.co/spaces/stabilityai/stable-point-aware-3d
例如，给定一张单视图图像，如一只松鼠的图片，SPAR3D可以快速生成一个高质量的3D网格模型，包括松鼠的正面和背面。用户还可以通过编辑点云来调整生成的3D模型，例如添加松鼠的尾巴或修改其姿势。
主要功能
- 高质量 3D 重建：能从单视图图像生成高质量的 3D 网格，在多个数据集上的定量和定性评估中表现优于现有方法。如在 GSO 和 OmniObject3D 数据集上，其 Chamfer 距离（CD）、F - score（FS）、PSNR、SSIM 和 LPIPS 等指标表现突出。
- 快速推理：推理速度达 0.7 秒，相比 3D 或多视图扩散方法大幅提升，可满足实时性要求较高的应用场景。
- 支持交互编辑：允许用户对生成的 3D 网格进行交互编辑，通过修改点云调整不可见表面，且能快速生成调整后的网格。
主要特点
- 两阶段设计：包括点采样和网格生成阶段。点采样阶段用轻量级点扩散模型生成稀疏点云，降低不确定性并便于快速迭代采样；网格生成阶段利用图像和点云生成高质量网格，减少光照伪影并提升高光表面建模效果。
- 高效中间表示：以点云为中间表示，计算高效且能为网格生成提供指导，同时利用点云无拓扑约束的特性支持便捷编辑。
- 结合优势：融合回归和生成方法优点，点采样阶段进行概率建模处理不确定性，网格生成阶段保持计算效率和输出保真度。
工作原理
- 点采样阶段：基于 DDPM 框架的点扩散模型依据输入图像生成包含 XYZ 和 RGB 信息的稀疏点云，使用特定噪声调度和无分类器引导提高采样保真度，同时生成反照率点云降低逆渲染不确定性。
- 网格生成阶段：通过大三平面变压器利用图像和点云预测三平面特征，进而估计物体几何、纹理和光照，采用可微渲染器计算渲染损失监督模型，并结合网格和阴影正则化。
- 交互编辑：利用点云的灵活性，用户可在低分辨率点云上高效直观地进行删除、复制等操作，编辑后的点云输入网格生成模型快速生成新网格。
具体应用场景
- 增强现实（AR）：在 AR 应用中，可快速重建现实场景中的 3D 物体，如家具、建筑等，为用户提供更真实的增强体验。
- 电影制作与动画：帮助创作者从单张概念图或参考图像生成高质量 3D 模型，提高制作效率和创意表达。
- 制造业：用于产品设计与质量检测，快速从设计图或实物照片生成 3D 模型，辅助设计评估和缺陷检测。
评论0