OmniPart：用于生成具有明确部件结构的 3D 对象的框架

香港大学、哈尔滨大学、VAST和浙江大学的研究人员推出 OmniPart，这是一个用于生成具有明确部件结构的 3D 对象的框架。OmniPart 通过将复杂的 3D 对象分解为可控制的部件，并在保持语义解耦的同时实现结构上的紧密整合，显著提升了 3D 内容的可编辑性和灵活性。该框架特别适用于需要对 3D 对象进行精细编辑、材质分配和动画制作的场景。

• 项目主页：https://omnipart.github.io
• Demo：https://huggingface.co/spaces/omnipart/OmniPart

例如，给定一张简单的 2D 图像和对应的掩码输入，OmniPart 首先使用自回归模型规划 3D 部件结构，然后同时生成所有高质量的纹理化部件。这些部件无缝合并为一个连贯的 3D 对象，用户可以通过调整 2D 掩码来控制部件的分解和生成，从而实现对 3D 对象的精细编辑和定制。

主要功能

1. 部件结构规划：通过自回归模型生成可变长度的 3D 部件边界框序列，支持用户通过 2D 掩码控制部件的分解。
2. 部件生成：在规划好的布局基础上，同时生成所有 3D 部件，确保部件之间的结构一致性和语义独立性。
3. 材质和纹理编辑：支持对生成的 3D 部件进行材质和纹理的独立编辑，提升 3D 对象的视觉效果。
4. 几何处理：生成的 3D 部件支持高质量的几何处理，如网格重划分，避免部件边界处的几何伪影。

主要特点

1. 语义解耦与结构整合：OmniPart 在生成 3D 部件时，既保持了部件之间的语义独立性，又确保了整体结构的连贯性。
2. 自回归结构规划：通过自回归模型生成 3D 部件边界框，支持灵活的 2D 掩码输入，实现对部件分解的精细控制。
3. 空间条件生成：基于预训练的全对象生成器，通过空间条件化生成所有 3D 部件，充分利用预训练模型的知识，减少对部件级标注的依赖。
4. 高效的部件生成：通过同时生成所有部件，OmniPart 实现了高效的 3D 内容生成，支持直接解码为网格、3D 高斯点云等多种表示形式。

工作原理

1. 部件结构规划：
   • 边界框生成：使用自回归模型生成 3D 部件边界框序列，每个边界框对应一个部件的 3D 位置。
   • 2D 掩码引导：通过 2D 掩码提供直观的部件分解控制，无需严格的语义标签或一一对应关系。
   • 部件覆盖损失：引入部件覆盖损失，确保每个预测的边界框能够完整地包含对应的对象部件。
2. 部件生成：
   • 空间条件化生成：基于预训练的全对象生成器（如 TRELLIS），在规划好的布局基础上生成所有 3D 部件。
   • 部件位置嵌入：为每个部件引入独特的部件位置嵌入，确保全局和局部信息的一致性。
   • 体素丢弃机制：通过引入额外的体素有效性维度，过滤掉无效的体素，确保生成的部件边界清晰。

测试结果

1. 定量评估：
   • 边界框生成：OmniPart 在边界框重叠（BBox IoU）、体素召回率（Voxel Recall）和体素交并比（Voxel IoU）等指标上显著优于基线方法 PartField。
   • 部件生成：OmniPart 在部件级和整体对象生成的 Chamfer 距离（CD）和 F1 分数上均优于其他方法，如 Part123 和 PartGen。
2. 定性评估：
   • 部件生成质量：生成的 3D 部件具有高质量的几何和纹理细节，支持精细的材质编辑和几何处理。
   • 结构连贯性：生成的 3D 对象在整体结构上保持连贯，避免了部件边界处的几何伪影。