MIT 发布 GenCAD:首个图像条件参数化 CAD 生成模型,输出可编辑命令序列而非静态网格

图像模型5个月前发布 小马良
282 0

麻省理工学院(MIT)研究团队提出了 GenCAD,这是首个基于图像条件的参数化计算机辅助设计(CAD)生成模型。与传统 AI 生成静态 3D 网格或点云不同,GenCAD 能够直接从输入图像或草图中生成完整的、可编辑的 参数化 CAD 命令历史记录(即 CAD 程序)。这一突破解决了现有 3D 生成模型在工程制造和设计修改中的核心痛点,为自动化设计流程带来了新的可能性。

  • 项目主页:https://gencad.github.io
  • GitHub:https://github.com/ferdous-alam/GenCAD
MIT 发布 GenCAD:首个图像条件参数化 CAD 生成模型,输出可编辑命令序列而非静态网格

研究背景:为何需要参数化 CAD 生成?

在传统的 AI 3D 生成领域,主流方法通常输出网格(Mesh)、体素(Voxel)或点云(Point Cloud)。虽然这些表示形式易于获取和处理,但它们存在致命缺陷:

  • 不可编辑:无法直接修改尺寸、参数或结构。
  • 不可制造:缺乏精确的边界表示(B-rep),难以直接用于 CNC 加工或 3D 打印准备。
  • 无设计历史:丢失了构建模型的逻辑步骤,设计师无法回溯或调整设计意图。

GenCAD 旨在解决这些问题,它不生成“死”的几何体,而是生成“活”的设计程序,保留了完整的设计历史和参数化能力。

核心架构:四步框架实现图像到 CAD 的映射

GenCAD 的核心是一个强大的多模态表示学习框架,由四个关键步骤组成:

1. 命令序列重建(Command Sequence Reconstruction, CSR)

  • 机制:使用自回归 Transformer 编码器-解码器。
  • 功能:学习 CAD 命令序列(如直线、圆弧、拉伸操作)的语法和长序列依赖关系,将复杂的 CAD 程序压缩为全局隐向量 $z_{CAD}$。
  • 意义:建立了 CAD 程序的潜在空间表示,确保生成的命令符合几何逻辑。

2. 对比 CAD-图像预训练(Contrastive CAD-Image Pretraining, CCIP)

  • 机制:引入 ResNet-18 作为图像编码器,通过对比损失(NT-Xent)对齐 CAD 隐空间与图像隐空间。
  • 功能:让形状相似的 CAD 模型和其对应的图像在潜在空间中距离更近。
  • 意义:实现了跨模态语义对齐,是后续图像检索和条件生成的基础。

3. CAD 扩散先验(CAD Diffusion Prior, CDP)

  • 机制:构建条件隐空间扩散模型,以图像隐向量 $z_{img}$ 为条件,去噪生成符合图像特征的 CAD 隐向量 $z_{CAD}$。
  • 功能:利用扩散模型的强大生成能力,确保生成的 CAD 潜在表示既多样又高质量。
  • 意义:解决了从图像到 CAD 映射的多义性问题,提升了生成结果的稳定性和多样性。

4. CAD 解码器

  • 机制:复用 CSR 阶段预训练的解码器。
  • 功能:将扩散模型生成的 $z_{CAD}$ 解码回具体的参数化 CAD 命令序列。
  • 最终输出:命令序列通过几何内核转换为标准的 B-rep 实体模型,可直接导入 Onshape 等 CAD 软件进行编辑。

关键技术细节

  • CAD 命令表示:每个命令被编码为固定 17 维向量(1 位类型 + 16 位参数),涵盖直线、圆弧、圆、拉伸及布尔运算等操作。
  • 数据集:基于 DeepCAD数据集(源自 ABC 数据集),包含 168,674 个有效 CAD 模型及其对应的 845,105 张灰度渲染图。

性能评估:全面超越现有方法

实验结果表明,GenCAD 在多个维度上显著优于之前的 SOTA 模型 DeepCAD:

1. 重建精度更高

指标DeepCADGenCAD
命令准确率99.36%99.51%
参数准确率97.59%97.78%
倒角距离 (CD)0.7830.762 (更低更好)
无效率3.44%3.32%

2. 图像检索精度提升 15 倍以上

在 2048 样本库的图像到 CAD 检索任务中:

  • 传统 ResNet 图像搜索 Top-1 准确率:3.91%
  • GenCAD Top-1 准确率:60.77%
  • 结论:通过对比学习对齐语义空间,GenCAD 实现了远超像素级匹配的结构化检索能力。

3. 条件生成质量卓越

  • 多样性 (COV):草图条件生成达到 82.59%(DeepCAD 无条件为 78.13%)。
  • 图像对齐度 (FID):图像条件 GenCAD 的 FID 仅为 0.13,远低于 DeepCAD 的 0.87,说明生成结果与输入图像高度一致。

核心优势与应用价值

  1. 真正的可编辑性:生成的不是静态网格,而是包含设计历史的参数化程序,设计师可在专业软件中继续修改尺寸、特征。
  2. 工业可用性:输出标准 B-rep 结构,可直接用于制造流程,弥合了 AI 生成与工程应用之间的鸿沟。
  3. 意图驱动设计:支持通过真实图片或手绘草图引导生成,大幅降低 CAD 建模门槛,加速概念设计阶段。
  4. 高效检索引擎:内置的高精度图像-CAD 检索能力,可作为大规模 CAD 库的智能搜索引擎。

局限性与未来展望

尽管表现优异,GenCAD 仍存在一定局限:

  • 操作类型有限:目前仅支持直线、圆弧、圆和拉伸,暂不支持倒角、旋转、镜像等复杂操作。
  • 输入限制:主要在等轴测 CAD 渲染图上表现最佳,对真实场景照片的泛化能力有待提升。
  • 几何合法性:虽经优化,但仍无法 100% 保证所有生成序列都能转化为合法几何体。
© 版权声明

相关文章