新型3D部件非模态分割模型HoloPart：将3D形状分解为完整的、语义上有意义的部件

香港大学和VAST的研究人员推出新型3D部件非模态分割模型HoloPart 。该模型旨在将3D形状分解为完整的、语义上有意义的部件，即使这些部件被部分或完全遮挡。这一任务被称为 3D部件非模态分割，是3D内容创作和理解中的一个关键挑战。与传统的3D部件分割方法不同，HoloPart不仅能够识别可见的表面区域，还能重建被遮挡部分的完整几何形状，从而为下游应用提供更强大的支持。

• 项目主页：https://vast-ai-research.github.io/HoloPart
• GitHub：https://github.com/VAST-AI-Research/HoloPart
• 模型：https://huggingface.co/VAST-AI/HoloPart
• Demo：https://huggingface.co/spaces/VAST-AI/HoloPart

主要功能

1. 3D部件非模态分割：将3D形状分解为完整的、语义上有意义的部件，即使这些部件被部分或完全遮挡。
2. 3D部件形状补全：给定一个不完整的部件片段，HoloPart能够生成完整的3D部件，确保生成的部件与整体形状在几何和语义上保持一致。
3. 支持多种下游应用：包括几何编辑、材质分配、动画制作等。

主要特点

1. 双阶段方法：
   • 第一阶段：利用现有的3D部件分割方法获取初始的、不完整的部件片段。
   • 第二阶段：引入HoloPart模型，完成这些片段，生成完整的3D部件。
2. 扩散模型：HoloPart基于扩散模型，通过局部注意力和全局上下文注意力机制，确保生成的部件在细节和整体一致性上的平衡。
3. 数据驱动的预训练：通过在大规模3D形状数据集上进行预训练，HoloPart学习到通用的3D形状先验知识，从而在有限的训练数据下也能有效完成部件补全任务。
4. 零样本泛化能力：通过预训练和微调，HoloPart能够在未见过的类别上进行有效的部件补全，展示了强大的泛化能力。

工作原理

1. 对象级预训练：
   • 利用变分自编码器（VAE）对大规模的完整3D形状数据集进行编码，学习通用的3D形状表示。
   • 通过编码器将输入的点云嵌入到一组潜在向量中，然后通过解码器生成形状的占用概率。
2. 上下文感知部件补全：
   • 给定一个完整的3D形状和对应的表面分割掩码，HoloPart利用上下文感知注意力机制和局部注意力机制，将局部细节和全局上下文信息注入到扩散模型中。
   • 局部注意力机制专注于捕捉输入部件的细粒度几何细节，而上下文感知注意力机制则确保生成的部件与整体形状在几何和语义上保持一致。
3. 扩散模型训练：
   • 通过在压缩的潜在空间中训练扩散模型，HoloPart学习从高斯噪声中生成完整的3D部件。
   • 使用分类器自由引导（CFG）技术，通过随机设置条件信息为零向量，提高生成的多样性和质量。

应用场景

1. 几何编辑：通过3D部件非模态分割，用户可以轻松地对3D模型的各个部件进行编辑，例如调整部件的大小、形状或位置。例如，在汽车模型中，可以单独调整车轮的大小或增加车灯的数量。
2. 材质分配：生成的完整部件可以用于材质分配，为每个部件分配不同的纹理或材质。例如，在家具模型中，可以为椅子的扶手和座椅分配不同的材质。
3. 动画制作：生成的完整部件可以用于动画制作，使部件能够独立运动。例如，在机器人模型中，可以为手臂和腿部部件添加动画，使其能够进行各种动作。
4. 几何处理：生成的完整部件可以用于更合理的网格重划分，提高3D模型的几何质量。例如，在复杂的建筑模型中，可以对各个部件进行优化，使其更适合进一步的几何处理。
5. 几何超分辨率：通过将部件表示为与整体对象相同数量的标记，HoloPart可以实现几何超分辨率，保留和生成部件的细节。