ComfyUI-SAM3DBody-openpose-editor:基于 SAM3.1 的 3D 人体姿态转 OpenPose 节点,支持自定义体型比例、视频跟踪

插件9小时前发布 小马良
3 0

ComfyUI-SAM3DBody-openpose-editor 是面向ComfyUI的扩展节点,核心能力:利用SAM3.1 + SAM3D Body做人体检测与3D姿态推理,输出兼容OpenPose标准的关键点数据,亮点是支持绑定参考图,单独修改每个人物的头身比例(比如转为Q版),同时保留原有动作、面部朝向不变,支持静态图和视频。

  • GitHub:https://github.com/tori29umai0123/ComfyUI-SAM3DBody-openpose-editor
ComfyUI-SAM3DBody-openpose-editor:基于 SAM3.1 的 3D 人体姿态转 OpenPose 节点,支持自定义体型比例、视频跟踪

四个核心节点

  1. SAM3D Body OpenPose Analyze(静态图)
    输入:pose_image(必填)、body_shape_images(可选,体型参考图/批次)、device、auto_head_proportion、person_threshold
    输出:pose_keypoint、body_shape_keypoint、debug_person_crops
  • 开启auto_head_proportion并接入体型参考图后,会用SAM3.1测量参考图面部宽度,按人脸-躯干比例迁移到目标人物;头部最大可放大至2倍,姿势、面部方向不变;
  • 支持多人,按检测框左上角顺序排序,体型参考图按顺序一一对应;参考不足时复用原图人物比例,多余参考直接忽略;
  • 内部先由SAM3.1检测人体框与蒙版,再在蒙版内由SAM3DBody估计姿态;不输出精细人脸关键点。
  1. SAM3D Body OpenPose Video Analyze(视频批次)
    适配视频加载器的帧序列,复用ComfyUI原生SAM3.1视频跟踪器:
  • 首次出现的人按从左到右分配ID和体型参考;后续帧依靠蒙版ID跟踪,人物移动时保持绑定的参考体型;新入场人物分配空余参考槽;
  • 参数:max_tracked_people最大跟踪人数、detect_interval新人检测间隔;可接入Run SAM3 Video Track的track_data,优先使用外部跟踪结果;
  • 局限:遮挡、外观相近人物容易发生ID跳变;长视频建议切短批次,批次之间ID会重置;无人物的帧输出空姿态。
  1. SAM3D Body Shape Images (Append)
    链式拼接多个体型参考图,用来给多人场景批量分配不同参考,串联多个Append节点即可无限追加参考图,输出给Analyze节点。
  2. SAM3D Body OpenPose Render
    接收关键点数据,直接渲染OpenPose骨架图;
    关键点格式:pose_keypoint为COCO-18人体点 + OpenPose 21点手部;body_shape_keypoint额外附带SAM3DBody的MHR70/3D参数,供下游姿态重定向;
    内置捆绑ultimate_openpose渲染器,不需要单独安装OpenPose编辑器,该渲染代码基于GPLv3协议分发。

内置示例工作流

插件自带3套JSON工作流,直接加载即可上手:

  • sam3d_body_openpose_example.json:单图基础姿态提取
  • sam3d_body_pose01_chibi01-05.json:多人分别绑定Q版参考图、统一动作改头身比
  • sam3d_body_pose01_chibi01_Video.json:视频跟踪+固定体型参考,人物移动时保持Q版比例

模型与自动下载

插件会自动在ComfyUI模型目录拉取权重,下载失败会单独进程IPv4重试:

  • SAM3D Body:sam3dbody/model.ckpt、sam3dbody/assets/mhr_model.pt
  • SAM3.1:sam3.1/sam3.1_multiplex_fp16.safetensors
    兼容降级:GPU xFormers不兼容时,SAM3.1自动回退PyTorch原生注意力;检测不到人体时抛出报错。
© 版权声明

相关文章