ComfyUI-InstantHMR:轻量快速人体 3D 重建,兼容 SAM3D Body,支持 VMC 实时动捕推流

插件29分钟前发布 小马良
1 0

ComfyUI-InstantHMR 是人体3D姿态与网格重建自定义节点包,输入图片或视频,即可批量还原画面中每个人的姿态、体型、2D/3D关键点,输出标准MHR人体网格;输出格式和ComfyUI原生SAM 3D Body完全互通,可直接接入SAM3D原生节点做平滑、渲染、导出动画。模型体量很小(20M~32M参数),推理速度快,还支持摄像头实时捕捉、VMC协议推流动捕。

  • GitHub:https://github.com/jtydhr88/ComfyUI-InstantHMR
  • 模型:https://github.com/Naturalpad-studio/InstantHMR
ComfyUI-InstantHMR:轻量快速人体 3D 重建,兼容 SAM3D Body,支持 VMC 实时动捕推流

核心节点

节点功能说明
Load InstantHMR Model从 models/detection 加载InstantHMR权重
Run InstantHMR Prediction基于人物检测框预测MHR人体,输出MHR_POSE_DATA;检测框可来自RT-DETR或者SAM3 Video Track,不接检测器则默认整帧单人
InstantHMR Live Capture摄像头实时预览采集,支持本地摄像头、局域网手机扫码推流;录制画面、输出视频片段,可直接驱动带骨骼角色或VMC软件

参数说明:fov 垂直视场角;可搭配MoGe估计相机视场角;填0时自动使用画面对角线1.05倍焦距。detect_every 隔N帧跑一次检测器,设置2–3可大幅提升预览流畅度。

后链路兼容(SAM3D Body原生节点)

  • Smooth SAM3D Body Pose Data:视频姿态去抖动
  • Render 3D Body Pose:渲染网格、剪影、OpenPose、SCAIL
  • Create 3D Animation File:导出GLB动画;BVH、bones_only等骨架模式需要额外加载SAM 3D Body模型

实时采集与VMC动捕

  • 本地摄像头:This device 直接调用本机摄像头
  • 手机远程:选Phone / other device,节点生成二维码,手机同局域网扫码推送画面
  • 角色替换:加载FBX/GLB/VRM,支持Mixamo、Unreal、VRM人形骨骼自动匹配,T/A姿势都兼容,自动按表演者腿长缩放
  • VMC推流:填写 host:port(如127.0.0.1:39539),把第一人姿态实时发给VSeeFace、Warudo、VNyan、Blender VMC Link、Unity VMC4U
ComfyUI-InstantHMR:轻量快速人体 3D 重建,兼容 SAM3D Body,支持 VMC 实时动捕推流

Blender使用提示:角色预先应用全部变换;Mixamo骨骼需要手动映射骨骼名称。
手机浏览器调用摄像头需要HTTPS,附自签名证书启动命令:

openssl req -x509 -newkey rsa:2048 -nodes -days 825 -keyout key.pem -out cert.pem -subj "/CN=ComfyUI" -addext "subjectAltName=IP:192.168.0.10"
python main.py --listen 0.0.0.0 --tls-keyfile key.pem --tls-certfile cert.pem

模型版本(HGNetV2主干)

模型PA-MPJPE(mm)许可
instanthmr_nano46.6SAM License,非商用
instanthmr_tiny44.0SAM License,非商用
instanthmr_small41.7SAM License,非商用
instanthmr_medium40.0SAM License,非商用
instanthmr_medium_commercial50.7SAM License,可商用

模型存放路径:models/detection/,单文件自带网络+MHR骨架,无需额外依赖。上游原始分发为ONNX,附带convert_onnx.py转换脚本,支持校验比对。

配套示例工作流

  • instanthmr_image.json:图片单人检测+网格叠加渲染
  • instanthmr_video.json:视频SAM3跟踪、MoGe视场、姿态平滑、渲染、导出GLB
  • instanthmr_live.json:实时采集录制后二次处理

使用建议

  • 优先全身镜头;胸部裁切的近景姿态基本准确,但网格容易轻微偏移
  • 多人视频一定要搭配SAM3跟踪,保证ID稳定,姿态平滑节点依赖人物ID一致性
  • 小模型(nano/tiny)速度优先,单个人推理约1ms,整体瓶颈在检测、跟踪环节
© 版权声明

相关文章