ComfyUI Yedp Action Director:内置交互式 3D 视口与 Mocap 清理工具,一键生成 7 种 ControlNet 通道

插件6个月前发布 小马良
372 0

在 ComfyUI 中制作复杂的角色动画和控制视频,往往需要在 Blender、Maya 等外部软件和 ComfyUI 之间反复横跳,流程割裂且效率低下。

Yedp Action Director 是一个强大的自定义节点集合,它将一个完全交互式的 3D 视口直接集成到 ComfyUI 工作流中。你可以动态加载角色、编排动作序列、捕捉面部表情、定制相机运镜,并一键“烘焙”出像素完美的 OpenPose、Depth、Normal 等 7 种 ControlNet 通道,无需离开浏览器。

ComfyUI Yedp Action Director:内置交互式 3D 视口与 Mocap 清理工具,一键生成 7 种 ControlNet 通道

核心亮点:一站式 3D 动画解决方案

1. 交互式 3D 视口

  • 实时预览:支持轨道控制、点击选择、射线投射,像在游戏引擎中一样调整场景。
  • 动态同步:点击“SYNC FOLDERS”即可热重载新放入的 .fbx、.glb 或 .bvh 文件,无需刷新页面。
  • 原生保存:整个 3D 场景状态(角色位置、动画序列、相机路径)自动序列化保存到标准的 ComfyUI .json 工作流文件中。
ComfyUI Yedp Action Director:内置交互式 3D 视口与 Mocap 清理工具,一键生成 7 种 ControlNet 通道

2. Yedp Mocap Surgeon:专业级动捕清理

内置专用的动捕手术刀节点,让你直接在 ComfyUI 中处理视频素材:

  • 本地 AI 跟踪:集成 MediaPipe,本地运行姿态、手部及 70 点面部地标跟踪,保护隐私。
  • 专业清理工具:
    • 1-Euro 滤波:自动平滑抖动。
    • 手动修正:暂停视频,使用 G/R Gizmo 精准修复错误关节。
    • 洋葱皮模式:显示前后帧轨迹,辅助逐帧精调。
    • 范围编辑:类似 Premiere 的 I/O 键剪辑,快速删除无效片段。
  • 智能导出:将清理后的 Mixamo 兼容 .glb 动画直接导出至 Action Director 文件夹。
ComfyUI Yedp Action Director:内置交互式 3D 视口与 Mocap 清理工具,一键生成 7 种 ControlNet 通道

3. 七通道批量烘焙

点击“BAKE”按钮,引擎将快速生成并输出 7 种独立的视觉通道批次,直接接入后续 ControlNet 管道:

通道描述最佳用途
🔴 Pose平面颜色骨架(含面部地标)ControlNet OpenPose
⚫ Depth高质量灰度深度图(可调近/远平面)ControlNet Depth
⚪ Canny程序化边缘光检测ControlNet Canny/Lineart
🔵 NormalRGB 法线贴图,保留几何细节ControlNet NormalMap
🟠 Shaded黏土风格光照渲染场景光影参考
🏁 Alpha纯黑白角色/道具遮罩合成与蒙版
🎨 Textured全 RGB 材质渲染最终可视化预览

Mixamo 兼容核心

为了获得最佳的即插即用体验,Yedp Action Director 围绕 Mixamo 骨骼命名约定构建。虽然它支持通用骨骼映射,但建议使用标准 Mixamo 骨骼的角色和动画,以确保无缝兼容和自动交叉淡入淡出效果。

高级用户提示:解析器通过网格名称识别类型:

  • OpenPose 骨骼:包含 pose 或 openpose。
  • 深度网格:包含 depth_f/female(女性)或 depth/male(男性)。
  • 道具:其他连接到骨骼的网格自动视为道具,并智能渲染至深度/法线通道。

快速开始

1. 安装

cd ComfyUI/custom_nodes/
git clone https://github.com/yedp123/ComfyUI-Yedp-Action-Director.git
# 重启 ComfyUI

2. 准备资产

在 ComfyUI/input/ 下创建以下文件夹并放入对应文件:

  • yedp_anims/:角色动画文件 (.fbx/.glb)
  • yedp_envs/:环境模型
  • yedp_cams/:相机路径数据
  • yedp_mocap/:动作捕捉数据 (.bvh/.glb)

3. 使用流程

  1. 添加节点:右键 > Yedp > MoCap > Yedp Action Director。
  2. 组装场景:点击“+ Add Char/Env”,在视口中调整位置(G/R/S 快捷键)。
  3. 编排动画:在角色卡中添加动画序列,引擎自动处理过渡。
  4. 面部捕捉(可选):在 Motion Capture 侧边栏启动 Webcam/视频跟踪,录制并绑定面部动作。
  5. 烘焙输出:点击“BAKE V9.3”,获取 7 个通道的图像批次,连接至你的 ControlNet 节点。
© 版权声明

相关文章