ComfyUI-InstantHMR 是人体3D姿态与网格重建自定义节点包,输入图片或视频,即可批量还原画面中每个人的姿态、体型、2D/3D关键点,输出标准MHR人体网格;输出格式和ComfyUI原生SAM 3D Body完全互通,可直接接入SAM3D原生节点做平滑、渲染、导出动画。模型体量很小(20M~32M参数),推理速度快,还支持摄像头实时捕捉、VMC协议推流动捕。
- GitHub:https://github.com/jtydhr88/ComfyUI-InstantHMR
- 模型:https://github.com/Naturalpad-studio/InstantHMR

核心节点
| 节点 | 功能说明 |
|---|---|
| Load InstantHMR Model | 从 models/detection 加载InstantHMR权重 |
| Run InstantHMR Prediction | 基于人物检测框预测MHR人体,输出MHR_POSE_DATA;检测框可来自RT-DETR或者SAM3 Video Track,不接检测器则默认整帧单人 |
| InstantHMR Live Capture | 摄像头实时预览采集,支持本地摄像头、局域网手机扫码推流;录制画面、输出视频片段,可直接驱动带骨骼角色或VMC软件 |
参数说明:
fov垂直视场角;可搭配MoGe估计相机视场角;填0时自动使用画面对角线1.05倍焦距。detect_every隔N帧跑一次检测器,设置2–3可大幅提升预览流畅度。
后链路兼容(SAM3D Body原生节点)
- Smooth SAM3D Body Pose Data:视频姿态去抖动
- Render 3D Body Pose:渲染网格、剪影、OpenPose、SCAIL
- Create 3D Animation File:导出GLB动画;BVH、bones_only等骨架模式需要额外加载SAM 3D Body模型
实时采集与VMC动捕
- 本地摄像头:
This device直接调用本机摄像头 - 手机远程:选
Phone / other device,节点生成二维码,手机同局域网扫码推送画面 - 角色替换:加载FBX/GLB/VRM,支持Mixamo、Unreal、VRM人形骨骼自动匹配,T/A姿势都兼容,自动按表演者腿长缩放
- VMC推流:填写
host:port(如127.0.0.1:39539),把第一人姿态实时发给VSeeFace、Warudo、VNyan、Blender VMC Link、Unity VMC4U

Blender使用提示:角色预先应用全部变换;Mixamo骨骼需要手动映射骨骼名称。
手机浏览器调用摄像头需要HTTPS,附自签名证书启动命令:
openssl req -x509 -newkey rsa:2048 -nodes -days 825 -keyout key.pem -out cert.pem -subj "/CN=ComfyUI" -addext "subjectAltName=IP:192.168.0.10"
python main.py --listen 0.0.0.0 --tls-keyfile key.pem --tls-certfile cert.pem
模型版本(HGNetV2主干)
| 模型 | PA-MPJPE(mm) | 许可 |
|---|---|---|
| instanthmr_nano | 46.6 | SAM License,非商用 |
| instanthmr_tiny | 44.0 | SAM License,非商用 |
| instanthmr_small | 41.7 | SAM License,非商用 |
| instanthmr_medium | 40.0 | SAM License,非商用 |
| instanthmr_medium_commercial | 50.7 | SAM License,可商用 |
模型存放路径:models/detection/,单文件自带网络+MHR骨架,无需额外依赖。上游原始分发为ONNX,附带convert_onnx.py转换脚本,支持校验比对。
配套示例工作流
instanthmr_image.json:图片单人检测+网格叠加渲染instanthmr_video.json:视频SAM3跟踪、MoGe视场、姿态平滑、渲染、导出GLBinstanthmr_live.json:实时采集录制后二次处理
使用建议
- 优先全身镜头;胸部裁切的近景姿态基本准确,但网格容易轻微偏移
- 多人视频一定要搭配SAM3跟踪,保证ID稳定,姿态平滑节点依赖人物ID一致性
- 小模型(nano/tiny)速度优先,单个人推理约1ms,整体瓶颈在检测、跟踪环节
© 版权声明
文章版权归作者所有,未经允许请勿转载。















