3D部件分割是3D感知中的一项关键任务，在机器人、3D生成和3D编辑等应用中发挥着重要作用。最近的方法利用强大的视觉语言模型（VLMs）进行2D到3D的知识蒸馏，实现了零样本的3D部件分割。然而，这些方法受限于对文本提示的依赖，这限制了它们在大规模未标注数据集上的可扩展性以及处理部件歧义的灵活性。
香港大学和VAST的研究人员提出了SAMPart3D，这是一个可扩展的零样本3D部件分割框架，它能够在无需预定义部件标签集或文本提示的情况下，能够将任何3D对象分割成多粒度的语义部件，而无需预定义的部件标签集作为文本提示。这个框架对于3D感知领域中的关键任务非常重要，它在机器人技术、3D生成和3D编辑等多种应用中都发挥着重要作用。
例如，我们有一个复杂的3D模型，比如一辆汽车。使用SAMPart3D，我们可以将汽车模型分割成多个部分，如车身、车轮、车窗等，甚至可以进一步细分为更具体的部件，如车轮的轮胎和轮毂。这种分割能力使得我们可以对每个部分进行单独的编辑和操作，比如更换轮胎的材质或者修改车窗的形状。这种灵活性和精确性在3D建模和设计中是非常有价值的。
主要功能
-
多粒度3D分割： SAMPart3D能够将3D对象分割成不同粒度的语义部分，从粗略的大致部分到精细的细节部分。 -
零样本学习： 该框架能够在没有标注的3D数据的情况下进行3D部分分割，即所谓的零样本学习。 -
无需文本提示： 与依赖于文本提示的方法不同，SAMPart3D不依赖于预定义的部件标签集作为文本提示。
主要特点
1、可扩展性：
-
与文本无关的视觉基础模型：SAMPart3D使用与文本无关的视觉基础模型来蒸馏3D特征提取骨干，允许扩展到大规模未标注的3D数据集，以学习丰富的3D先验知识。 -
大规模数据集支持：SAMPart3D可以扩展到最近的大规模3D对象数据集Objaverse，处理复杂、非寻常的对象。
2、灵活性：
-
尺度条件化的部件感知3D特征：SAMPart3D蒸馏了尺度条件化的部件感知3D特征，用于多粒度的3D部件分割。这使得模型能够灵活地处理不同尺度的部件。 -
多视图渲染：一旦从尺度条件化的部件感知3D特征中获得分割的部件，SAMPart3D使用VLMs根据多视图渲染为每个部件分配语义标签。
工作原理
-
大规模预训练： 通过从大量未标注的3D对象中学习3D特征提取骨干网络。 -
样本特定微调： 通过训练轻量级MLP（多层感知机）进行比例条件分组，以实现不同粒度的分割。 -
无训练的语义查询： 使用多模态大型语言模型（MLLMs）为每个部分分配语义标签。
实验与评估
1、基准贡献：
-
新的3D部件分割基准：研究人员贡献了一个新的3D部件分割基准，解决了现有基准中对象和部件的多样性和复杂性不足的问题。这个基准包括了更多种类和复杂度的对象，为评估模型提供了更全面的测试环境。
2、实验结果：
-
性能优越：实验表明，SAMPart3D显著优于现有的零样本3D部件分割方法。在多个基准测试中，SAMPart3D在分割精度和鲁棒性方面表现出色。 -
应用拓展：SAMPart3D不仅可以用于3D部件分割，还可以促进各种应用，如部件级编辑和交互式分割。这些应用在3D建模、虚拟现实和增强现实等领域具有重要意义。
未来展望
-
模型扩展：未来可以探索将SAMPart3D应用于更多任务，如3D场景理解、3D重建等。 -
性能优化：通过进一步优化视觉基础模型和尺度条件化的部件感知3D特征，可以进一步提高模型的性能和效率。 -
应用场景：SAMPart3D在实际应用中具有广泛的应用前景，特别是在需要精细3D部件处理的领域，如工业设计、医疗影像分析等。
评论0