Stability AI之前与Tripo AI合作推出了图生3D模型TripoSR，Stability AI又基于TripoSR推出了Stable Fast 3D (SF3D) ，它可以在不到一秒的时间内从单张图片快速生成高质量的3D网格模型。这些3D模型不仅具有逼真的纹理，还具有解耦的照明效果，这意味着它们可以在不同的光照条件下使用而不失真。
- 项目主页：https://stable-fast-3d.github.io
- GitHub：https://github.com/Stability-AI/stable-fast-3d
- Demo：https://huggingface.co/spaces/stabilityai/stable-fast-3d
- 模型：https://huggingface.co/stabilityai/stable-fast-3d
借助大型重建模型 (LRM) 作为基础，SF3D 实现了卓越的性能，在仅仅0.5秒的时间内就能重建出详细的、带有纹理的网格。与传统方法不同，SF3D 明确地针对网格生成进行了训练，采用了快速的UV展开技术，这使得纹理生成更为迅速，而不是依赖顶点颜色。此外，该方法学习了材质参数和法线贴图以增强重建模型的视觉质量。更重要的是，SF3D 还集成了一步去除光照的效果，有效地消除了低频光照效应，确保重建的网格可以在新的光照条件下轻松使用。
例如，你是一名游戏设计师，需要快速生成一个虚拟角色的3D模型。使用SF3D，你只需上传一张角色的概念图，系统就能在不到一秒钟的时间内创建出一个具有逼真纹理和材质的3D模型，你可以在不同的光照条件下预览这个角色，确保它在游戏中看起来完美无瑕。
主要功能：
- 快速生成：SF3D能在0.5秒内从单张图片生成3D网格模型。
- 高质量纹理：生成的模型具有高分辨率的UV展开纹理。
- 材质和光照处理：能够预测材质参数和法线贴图，增强3D模型的视觉质量。
- 照明解耦：有效去除低频光照效果，使模型在新的光照条件下也能使用。
主要特点：
- 速度：SF3D特别注重生成速度，能够在极短的时间内创建3D模型。
- 质量：生成的3D模型不仅在形状上精确，而且在纹理和材质上也具有高质量。
- 自动化：整个过程不需要人工干预，自动化程度高。
工作原理：
- SF3D首先使用一个改进的Transformer网络来预测更高分辨率的Triplanes，这些Triplanes是3D表示的基础。
- 然后，它通过一个材质估计网络来预测材质属性，如粗糙度和金属感。
- 接下来，使用一个光照网络来预测输入图像中的光照情况，并将光照和反射属性分离。
- 通过不同的可微分技术，如DMTet，将Triplanes转换成网格，并使用学习到的顶点偏移和法线贴图来细化网格。
- 最后，SF3D使用一种快速的UV展开技术来生成纹理，并导出最终的3D模型。
具体应用场景：
- 电影和游戏：在电影制作和电子游戏中，SF3D可以快速生成逼真的3D对象。
- 电子商务：在线购物平台可以利用SF3D展示产品的3D视图，提高用户体验。
- 增强现实/虚拟现实：在AR/VR应用中，SF3D可以快速生成虚拟环境中的3D对象。
- 教育和设计：设计师和学生可以快速创建和修改3D模型，用于学习和设计工作。
评论0