ComfyUI-Pixal3D-D:集成腾讯 Pixal3D-D 混合架构,支持 1024 高分辨率网格精炼与 16GB 显存优化,打造电影级 3D 资产

插件6个月前发布 小马良
408 0

在 AI 3D 生成领域,如何平衡全局拓扑稳定性与高频细节丰富度一直是技术难点。ComfyUI-Pixal3D-D 是腾讯 ARC 实验室最新成果 Pixal3D-D 的第三方 ComfyUI节点。

  • GitHub:https://github.com/Rizzlord/ComfyUI-Pixal3D-D

该插件采用先进的混合稠密到稀疏架构,首先生成稳定的基础网格,再通过稀疏扩散变换器(Sparse DiT)进行高达 1024 分辨率的细节精炼。更令人惊喜的是,它内置了内存优化模式,使得拥有 16GB VRAM 的消费级显卡也能流畅运行高精度生成任务,并集成了 mrmeshpy 进行专业级网格后处理。

Pixal3D:清华与腾讯联合研发,通过像素反投影实现“重建级”单图转3D,解决几何错位痛点

Pixal3D:清华与腾讯联合研发,通过像素反投影实现“重建级”单图转3D

核心亮点:混合架构、高分辨率、显存优化

1. 混合两阶段管道:稳定与细节兼得

  • 第一阶段:稠密模型:负责生成稳定、无孔洞的全局拓扑结构,确保物体形态正确。
  • 第二阶段:稀疏 DiT:基于稠密结果,利用稀疏扩散变换器添加高频几何细节(如纹理凹凸、边缘锐度)。
  • 1024 原生支持:突破传统 512 分辨率限制,生成具备电影级细节的高质量 3D 资产。

2. 16GB 显存友好模式

  • 跨分辨率条件控制:通过智能内存管理,允许在 16GB VRAM 显卡上运行 refine 模式。
  • 灵活配置:
    • 16GB 显卡:推荐使用 refine 模式,平衡速度与质量。
    • 24GB+ 显卡:可使用 full 模式,追求极致细节表现。
  • 显式资源管理:内置 keep_model_loaded 开关,生成后可立即卸载模型,释放 VRAM/RAM,避免与其他节点冲突。

3. 专业级网格后处理

  • MeshLib 集成:内置 mrmeshpy 高性能库,提供自动化后处理能力。
  • 自动去壳与清理:一键移除内部空洞、浮动物体及非最大连通分量,确保生成的 .glb/.obj 文件干净、可打印、可直接导入引擎。
  • 网格增强模式:支持导入现有低模,通过 1024 稀疏模型重新体素化,为其“注入”高保真细节。

4. 智能缩放与阈值控制

  • 自动适配:optimize_mesh_scale 功能自动将物体适配到标准 3D 空间,最大化清晰度。
  • 表面提取控制:通过 dense_threshold 精细调节初始表面的提取精度,适应不同复杂度的输入图像。

安装与部署

1. 克隆仓库

cd ComfyUI/custom_nodes
git clone https://github.com/Rizzlord/ComfyUI-Pixal3D-D.git

2. 安装依赖

确保在 ComfyUI 的 Python 环境中安装以下库:

pip install trimesh mrmeshpy numpy torch torchvision scipy scikit-image

注:mrmeshpy 可能需要编译环境,如遇问题请参考其官方文档。

3. 手动下载模型(关键步骤)

模型不会自动下载,需手动配置:

  1. 创建目录:在 ComfyUI/models/ 下新建文件夹 pixal3d-d/。
  2. 下载权重:访问 Hugging Face TencentARC/Pixal3D-D 下载模型文件。
  3. 放置文件:将下载的 dense、sparse512 和 sparse1024 文件夹完整放入 ComfyUI/models/pixal3d-d/ 目录。
    • 最终路径示例:ComfyUI/models/pixal3d-d/dense/...

💡 节省空间提示:若已将权重移至中央 models 目录,可删除自定义节点文件夹内的冗余权重子目录(path/to/ComfyUI/custom_nodes/ComfyUI-Pixal3D-D/pixal3d/models/Pixal3D-D/weights),但切勿删除包含 Python 源码的 models 文件夹。

节点使用指南

1. Pixal3D-D Loader

  • 功能:加载混合管道模型。
  • 参数:
    • keep_model_loaded:设为 False 可在生成后彻底清除显存,适合多节点串联工作流。

2. Generate Dense Mesh

  • 功能:执行第一阶段稠密生成。
  • 参数:
    • optimize_mesh_scale:开启以自动标准化物体尺寸。
    • dense_threshold:调整表面提取的灵敏度,值越高表面越平滑。

3. Refine Sparse Latent

  • 功能:执行第二/三阶段稀疏精炼(512 -> 1024)。
  • 参数:
    • mode_1024:
      • refine:适合 16GB 显存,性价比高。
      • full:适合 24GB+ 显存,极致细节。
    • remove_interior:开启后自动清理内部无效几何体。

4. Refine Existing Mesh (可选)

  • 功能:输入现有 TRIMESH 对象,通过 1024 模型进行细节增强。
  • 适用:希望保留原有拓扑结构仅增加表面细节的场景。
© 版权声明

相关文章