Sparc3D：用于高分辨率三维形状建模的稀疏表示和构建框架

南洋理工大学、Math Magic和伦敦帝国理工学院的研究人员推出一个用于高分辨率三维形状建模的稀疏表示和构建框架 Sparc3D，它通过稀疏可变形的 Marching Cubes（Sparcubes）表示和稀疏卷积变分自编码器（Sparconv-VAE）实现了高效的三维重建和生成。该方法特别适用于处理复杂的三维形状，能够将非封闭的原始网格转换为完全封闭且可打印的高分辨率网格。

• 项目主页：https://lizhihao6.github.io/Sparc3D
• GitHub：https://github.com/lizhihao6/Sparc3D
• Demo：https://huggingface.co/spaces/ilcve21/Sparc3D

例如，你有一个复杂的三维模型，例如一个带有内部结构的机械零件。传统的三维重建方法可能会丢失细节或无法正确处理内部结构。而Sparc3D通过其稀疏表示和优化算法，能够将这个零件的原始网格转换为一个完全封闭的高分辨率网格，同时保留所有细节和内部结构。最终生成的网格可以直接用于3D打印或其他应用。

主要功能

1. 高分辨率重建：将原始网格转换为高分辨率（1024³）的封闭网格，保留细节和小部件。
2. 处理复杂几何形状：能够处理开放表面、断开的部件和复杂的几何形状。
3. 与潜扩散模型集成：与现有的潜扩散模型（如Trellis）无缝集成，提升生成三维对象的分辨率。
4. 高效训练和推理：通过稀疏卷积网络实现高效的训练和推理，减少计算成本。

主要特点

1. 稀疏表示：使用稀疏立方体（Sparcubes）表示三维形状，通过稀疏采样和优化减少计算量。
2. 模态一致性：Sparconv-VAE直接在稀疏表示上进行编码和解码，避免了输入输出模态不匹配的问题。
3. 高效优化：通过梯度下降和视图依赖的渲染损失优化网格，实现快速且高质量的重建。
4. 高保真生成：在生成过程中保留了原始网格的细节和结构，生成的三维对象具有高保真度。

工作原理

1. 稀疏可变形 Marching Cubes（Sparcubes）：
   • 步骤1：从输入网格中提取稀疏激活体素，并计算无符号距离场（UDF）。
   • 步骤2：通过洪水填充算法为体素分配粗略的符号标签，将其转换为有符号距离场（SDF）。
   • 步骤3：通过梯度下降优化网格顶点的变形，使稀疏立方体结构更好地贴合目标表面。
   • 步骤4：使用可微渲染损失进一步优化网格，提升视觉效果。
2. 稀疏卷积变分自编码器（Sparconv-VAE）：
   • 编码器：使用稀疏卷积块对输入的Sparcubes参数进行下采样，提取稀疏特征。
   • 解码器：通过自剪枝上采样块恢复原始分辨率，并预测Sparcubes参数。
   • 无全局注意力机制：通过稀疏卷积网络实现高效的编码和解码，避免了复杂的全局注意力机制。

测试结果

1. 重建质量：在ABO、Objaverse和Wild数据集上，Sparc3D在Chamfer距离、绝对法线一致性和F1分数等指标上均优于现有方法。
2. 训练效率：Sparconv-VAE的训练时间比现有方法快约4倍，仅需两天即可完成训练。
3. 生成效果：在与Trellis的对比中，Sparc3D生成的三维对象具有更高的细节和保真度，能够更好地处理复杂几何形状。