ComfyUI-Sapiens2-Easy:一键解锁 Meta Sapiens 2 全能视觉能力,从分割、法线到 3D GLB 导出的完整工作流

插件7个月前发布 小马良
393 0

Meta 发布的 Sapiens 2 是目前最强大的人体视觉基础模型之一, 高精度的分割、法线估计、深度预测和姿态识别。然而,直接在 ComfyUI 中使用原生 Sapiens 2 往往面临环境配置复杂、节点分散等门槛。

Meta 推出的超高分辨率人体视觉基础模型Sapiens2

ComfyUI-Sapiens2-Easy将 Sapiens 2 的强大能力封装为一组简洁、原生的 ComfyUI 节点,让你无需离开界面,即可从一张普通照片中提取出遮罩、法线贴图、3D 点云/GLB 模型以及精细的人体姿态数据。

  • GitHub:https://github.com/Bogyie/ComfyUI-Sapiens2-Easy
ComfyUI-Sapiens2-Easy:一键解锁 Meta Sapiens 2 全能视觉能力,从分割、法线到 3D GLB 导出的完整工作流

核心亮点:为什么选择 Sapiens2-Easy?

1. 统一且简化的工作流

  • 一站式加载:分割、法线、点云、姿态任务共享统一的模型加载器,无需重复下载或配置多个后端。
  • 自动管理权重:首次运行时自动从 Hugging Face 下载官方权重至 ComfyUI/models/sapiens2/,后续直接复用,省心省力。
  • 以遮罩为核心:支持“先分割、后细化”的逻辑,可将人体分割遮罩作为掩码输入给法线或点云节点,显著提升复杂背景下的生成质量。
ComfyUI-Sapiens2-Easy:一键解锁 Meta Sapiens 2 全能视觉能力,从分割、法线到 3D GLB 导出的完整工作流

2. 单图转 3D 资产

  • 多格式导出:不仅生成深度风格的预览图,更支持将点云直接导出为 .glb 文件。
  • 灵活网格类型:支持导出为标准点云、高斯点云(Gaussian Splatting 友好)或带纹理的三角网格,便于导入 Blender、Unity 或 Unreal Engine 进行二次创作。

3. 高精度姿态估计

  • 丰富关键点:输出包含 308 个关键点 的 Sapiens 2 专用姿态数据,远超传统 OpenPose 的精度。
  • 兼容性强:同时提供 BODY_25、COCO_18 等通用格式,以及手部和面部细节关键点,完美适配下游动画绑定或驱动工具。
  • 可视化输出:自动生成 OpenPose 风格的姿态图和 JSON 文件,方便调试与集成。
ComfyUI-Sapiens2-Easy:一键解锁 Meta Sapiens 2 全能视觉能力,从分割、法线到 3D GLB 导出的完整工作流

4. 安全稳定的集成

  • 环境隔离:安装程序经过精心设计,避免静默替换或破坏现有的 PyTorch/CUDA 运行时栈,确保你的 ComfyUI 其他节点正常工作。
  • 多模型规模支持:根据显存大小和需求,灵活选择 0.4b、0.8b、1b 或 5b 参数规模的模型,平衡速度与精度。

支持的任务与输出

任务输出内容应用场景
分割 (Segmentation)身体部位遮罩、合并遮罩、原始标签抠图、背景替换、局部重绘掩码
法线 (Normal)表面法线贴图3D 重建光照优化、材质映射、细节增强
点云 (Pointmap)深度预览、.glb 导出 (点云/高斯/网格)单图 3D 建模、VR/AR 资产快速生成
姿态 (Pose)308 关键点、OpenPose 图、JSON动作迁移、数字人驱动、动画绑定

快速开始:推荐首个工作流

对于初次使用的用户,建议按照以下线性流程构建工作流,以获得最佳体验:

  1. Load Image:加载输入的人像照片。
  2. Sapiens2 Segmentation:
    • 设置 model_size = 1b (平衡性能与精度)。
    • 获取人体分割遮罩。
  3. Sapiens2 Normal:
    • 输入原图 + 上一步的遮罩。
    • 生成高精度法线贴图。
  4. Sapiens2 Pointmap:
    • 输入原图 + 遮罩。
    • 设置 quality = high, mesh_smoothing = balanced。
    • 导出 .glb 文件或查看 3D 预览。
  5. ComfyUI 3D Preview:实时查看生成的 3D 点云/网格效果。

💡 提示:如果显存有限,可将 model_size 调整为 0.4b 或 0.8b;若追求极致精度且显存充足,可尝试 5b 模型。

节点概览

插件提供了“简易”与“高级”两套节点,满足不同层次需求:

  • 简易节点:Sapiens2 Model Loader, Sapiens2 Segmentation, Sapiens2 Normal, Sapiens2 Pointmap, Sapiens2 Pose。适合快速搭建原型。
  • 高级节点:Sapiens2 Segmentation Advanced, Sapiens2 Normal Advanced, Sapiens2 Pointmap Mesh Advanced, Sapiens2 Pose Advanced。提供更多参数微调选项,适合专业调优。
© 版权声明

相关文章