ComfyUI-SAM3D-BodyMod：精准控制 3D 人体形状与摄像机关键帧运镜

在 AI 视频生成中，保持角色体型一致并实现复杂的摄像机运动一直是个难题。ComfyUI-SAM3D-BodyMod 提供了一套基于原生 SAM3D Body 模型的解决方案，让你能够估计、风格化并迁移 MHR（Multi-Human Representation）身体形状，同时通过关键帧精确控制摄像机轨道。

• GitHub：https://github.com/Burgstall-labs/ComfyUI-SAM3D-BodyMod

这套自定义节点完全兼容 ComfyUI 原生的 SAM3D_BODY_MODEL 和 MHR_POSE_DATA 类型，无需修改底层检查点或引入额外的重型模型依赖。

核心节点解析

1. Detect SAM3D Body Shape（形状检测）

这是工作流的起点。它从参考图像中提取人物的 45 个形状系数和 28 个缩放系数。

• 多视角聚合：支持输入多张参考图，系统会自动按系数取中位数，或在最多四个视图间共享剪影拟合配置，从而提高稳定性。
• 预设模式：
  • real_human：贴近真实人体估计，适合写实风格。
  • cartoon：允许更大的剪影驱动变化，适合风格化角色。
• 精细控制：通过 recognition_exaggeration 放大或缩小与平均形状的偏差，fit_strength 则控制剪影校正的力度。建议配合清晰的前景蒙版使用，以获得最佳效果。

2. SAM3D Body Type Preset（体型风格化）

在应用形状前，你可以对角色进行艺术化的体型调整。这些预设并非医学分类，而是基于几何目标的投影：

• ectomorph：更苗条、修长。
• mesomorph：强调肩部和腿部，腰部更窄。
• endomorph：增加腹部和臀部体积。
• maximize_detected：最大化所有检测到的特征。

3. Apply SAM3D Body Shape（形状应用）

将提取并风格化后的配置文件应用到动画的每一帧 MHR_POSE_DATA 中。

• 独立强度控制：表面身份和骨骼比例可以分别调整强度。
• 锚定选项：
  • camera：保留原始摄像机平移。
  • pelvis：固定骨盆位置，适合大多数动画驱动。
  • feet：固定脚踝位置，确保脚部与地面接触稳定。

4. Drive SAM3D Body Camera（摄像机驱动）

这是实现电影级运镜的关键。它围绕每一帧姿态运行摄像机，并重新投影网格和关键点。

• 交互式手柄：在界面中直接拖拽设置方位角/仰角，滚轮调整距离。
• 关键帧系统：右键添加/移除关键帧，左键拖拽调整角度。支持 linear（直线）和 smooth（Catmull-Rom 插值）两种路径模式。
• 无缝衔接：方位角插值会自动处理 ±180 度接缝的最短路径问题。

推荐工作流

一个典型的完整流程如下：

1. 参考图像 → Detect SAM3D Body Shape → Body Type Preset
2. 运动视频/序列 → 原生 SAM3D Body Prediction
3. 上述两者汇入 → Apply SAM3D Body Shape
4. → Drive SAM3D Body Camera
5. → Render 3D Body Pose

这种结构确保了角色体型在所有帧中保持一致，同时摄像机运动平滑可控。渲染出的 3D 姿态数据可以直接作为 LTX 2.3 等视频模型的引导条件。

实战示例：LTX 2.3 联动

Burgstall Labs 提供的示例工作流展示了如何将该工具与 Kijai 的 LTX 2.3 IC-LoRA 结合：

• 从 driver_motion.mp4 提取动作。
• 从 character_reference.png 估计角色形状。
• 应用形状并设置五关键帧摄像机路径。
• 最终渲染结果用于引导 LTX 2.3 生成高质量视频。

局限性与建议

• 拓扑限制：MHR 基于真实人体拓扑，虽然 cartoon 模式能近似比例，但无法生成四指手或非人形解剖结构。
• 深度歧义：单张参考图难以确定不可见部分的深度。建议提供正面、侧面等多视角图片以提高稳定性。
• 背景干扰：自动遮罩在纯色背景下效果最好。复杂背景请务必使用显式前景蒙版。
• 变形风险：过高的预设值可能导致网格超出学习空间，产生不自然的变形。