清华大学、中国人民大学等团队研究人员推出卷积重建模型CRM。该模型可用于将单图像转换为3D纹理网格，可在短短10秒内就从图像中提供了高保真纹理网格，无需任何优化测试。
该模型在图像峰值信噪比上，相较于常规的方法提升约23%。它能够将一张普通的2D图片转换成一个带有纹理的3D模型。这个过程非常快速，只需10秒钟，而且生成的3D模型质量非常高。
CRM的核心优势在于它能够快速地（仅需10秒）并且高质量地从一张图片中重建出详细的3D模型。通过结合几何先验和高效的网络架构，实现了从2D到3D的快速且高质量的转换。尽管存在一些限制，如输入图片的视角和视场限制，以及计算资源限制可能导致的几何细节不足，但CRM在快速3D建模领域具有广泛的应用潜力。
主要功能和特点：
- 高效率： CRM能够在很短的时间内（10秒）从一张图片生成高保真的3D模型，这比以往的方法要快得多。
- 高质量： 通过结合几何先验和卷积U-Net的强大像素级对齐能力，CRM能够生成具有丰富纹理和平滑几何形状的3D网格。
- 无需测试时优化： CRM不需要在测试时进行额外的优化步骤，可以直接输出高质量的3D网格。
工作原理：
CRM的工作原理基于卷积重建模型。它首先从输入的单张图片中生成六个正交视图图像。然后，这些图像被送入一个卷积U-Net中，利用U-Net强大的像素级对齐能力和带宽，创建出高分辨率的三平面。接下来，CRM使用Flexicubes作为几何表示，便于直接在纹理网格上进行端到端的优化。通过这些步骤，CRM最终能够生成高质量的三维纹理网格。
CRM的工作流程如下：
- 生成六视图图像： 首先，从单张输入图片中生成六个正交视图图像。
- 卷积U-Net处理： 这些图像随后被输入到一个卷积U-Net中，该网络利用其对像素级对齐的强大能力来创建高分辨率的三角平面（triplane）。
- Flexicubes几何表示： CRM采用Flexicubes作为几何表示，这使得它能够直接在纹理网格上进行端到端的优化。
具体应用场景：
- 3D打印： CRM可以用于从2D图片快速生成3D模型，这对于3D打印行业来说非常有用。
- 虚拟现实和游戏开发： 在VR和游戏开发中，CRM可以用来快速创建复杂的3D对象，加速内容的生产过程。
- 在线购物： 电商平台可以利用CRM从产品图片快速生成3D模型，提供更加丰富的产品展示。
评论0