在ComfyUI中实现使用游戏手柄进行实时头像控制

Reddit上的网友t_hou发布工作流,大家可以使用游戏手柄在ComfyUI中控制实时人像的动作和表情,您可以为您的设置带来更高水平的互动控制。以下是详细的步骤指南,帮助您完成这一设置

准备工作

1、安装ComfyUI Web Viewer自定义节点

2、安装Advanced Live Portrait自定义节点

3、下载工作流

  • 下载文件 example_osc_control_002_live_portrait_with_gamepad.json下载链接

4、安装TouchOSC应用程序

5、下载并导入OSC控制面板文件

  • 下载文件 comfyui_osc_control.tosc下载链接
  • 在TouchOSC应用程序中导入 comfyui_osc_control.tosc 文件。

如何操作

1、在TouchOSC App中使用游戏手柄

(1)连接游戏手柄:将您的游戏手柄连接到运行TouchOSC应用程序的设备(通常通过蓝牙)。

(2)打开TouchOSC:在您的设备上打开TouchOSC应用程序。

(3)设置连接

  • 进入TouchOSC应用程序的“Connections”设置。
  • 对于OSC,输入您的ComfyUI服务器的IP地址(例如,192.168.1.100:8000)。
  • 对于Gamepad,启用游戏手柄连接功能。

(4)导入OSC控制面板文件:将 comfyui_osc_control.tosc 文件添加到TouchOSC。

(5)运行控制面板

  • 在TouchOSC应用程序中,打开 comfyui_osc_control 面板。
  • 转到“Gamepad”选项卡。
  • 测试设置:尝试使用您的游戏手柄控制TouchOSC中的按钮。如果有效,您就准备好了!

2、在ComfyUI中运行工作流程

(1)加载工作流程

  • 在ComfyUI中,加载文件 example_osc_control_002_live_portrait_with_gamepad.json

(2)设置服务器地址

  • 转到“Server Settings”组面板。
  • 将“Server Address”更新为您的ComfyUI服务器IP地址,例如192.168.1.100。

(3)选择人像图片

  • 您可以使用 sample_pic_01_woman_head.png 作为示例人像进行控制。

(4)启用自动排队

  • 启用并选择“Extra options” -> “Auto Queue” -> “instant”。

(5)运行工作流程

  • 按“Queue Prompt”按钮开始执行工作流程。
  • 点击“[Open Web Viewer]”按钮在新窗口中查看人像。

3、使用您的游戏手柄

拿起您的游戏手柄,享受用它控制人像的乐趣!以下是快捷键:

Head Move (pitch/yaw) --- Left Stick
Head Move (rotate/roll) - Left Stick + A
Pupil Move -------------- Right Stick
Smile ------------------- Left Trigger + Right Bumper
Wink -------------------- Left Trigger + Y
Blink ------------------- Right Trigger + Left Bumper
Eyebrow ----------------- Left Trigger + X
Oral - aaa -------------- Right Trigger + Pad Left
Oral - eee -------------- Right Trigger + Pad Up
Oral - woo -------------- Right Trigger + Pad Right

高级技巧

如果您对OSC通信协议很熟悉,可以通过使用ComfyUI Web Viewer自定义节点中的“OSC Control”节点来更改、更新或添加更多OSC控制。

0

评论0

没有账号?注册  忘记密码?