复旦大学计算机学院、新加坡管理大学和智象未来的研究人员推出新型高分辨率图像到3D生成框架Hi3D，Hi3D 的目标是将单张2D图片转换成具有高分辨率纹理细节的3D模型。这就像给一个平面的照片施魔法，让它变成一个立体的模型。
Hi3D是一种基于视频扩散的新范式，它重新定义了单张图像到多视角图像的生成作为具有三维意识的序列图像生成（即轨道视频生成）。这种方法深入探讨了视频扩散模型中的潜在时间一致性知识，这些知识可以很好地推广到三维生成中的几何一致性。技术上，Hi3D首先通过三维感知先验（相机姿态条件）增强了预训练的视频扩散模型，从而生成带有低分辨率纹理细节的多视角图像。然后学习了一个三维感知的视频到视频细化器，进一步放大多视角图像以包含高分辨率纹理细节。这些高分辨率的多视角图像通过三维高斯投影进一步增强新视角，最终利用三维重建获得高保真网格。
主要功能和特点：
- 高分辨率生成： Hi3D 能够生成高达1024×1024像素的高分辨率3D模型，这意味着生成的3D模型具有非常细致的纹理和清晰度。
- 多视角一致性： 它能够生成一系列从不同角度观察时都能保持一致性的图像，这对于创建真实的3D模型非常重要。
- 视频扩散模型： Hi3D 利用视频扩散模型来捕捉时间序列中的一致性，这有助于在生成不同视角的图像时保持3D几何一致性。
工作原理：
- 第一阶段： 使用预训练的视频扩散模型，结合相机姿态信息，将单张图片转换成一系列低分辨率的多视角图像。
- 第二阶段： 通过一个3D感知的视频到视频细化器，将这些低分辨率图像进一步增强为高分辨率图像。
- 3D重建： 利用3D高斯散射技术增加新的视角，并通过基于符号距离场（SDF）的重建方法从这些高分辨率图像中提取出3D网格。
具体应用场景：
- 虚拟现实（VR）： 在VR中，高分辨率和多视角一致性的3D模型可以提供更加沉浸式的体验。
- 3D打印： 可以从单张图片生成精确的3D模型，然后进行3D打印。
- 电影和游戏制作： 在电影或游戏的制作过程中，Hi3D 可以用来快速生成高分辨率的3D资产。
总的来说，Hi3D 是一个强大的工具，它通过结合最新的视频扩散模型和3D重建技术，将2D图片转换成高分辨率、多视角一致的3D模型，这在多媒体和计算机视觉领域是一个非常有价值的进步。
评论0