Comfy Pilot:Claude Code 与 ComfyUI 桥梁工具,用 AI 可视化编辑工作流

插件4天前发布 小马良
15 0

Comfy Pilot 是一款专为 ComfyUI 打造的插件工具,核心定位是搭建 Claude Code 与 ComfyUI 之间的桥梁,通过内置「MCP 服务器 + 嵌入式终端」,让 Claude Code 能够直接查看、编辑、运行 ComfyUI 工作流,甚至协助安装自定义节点、下载模型,无需手动繁琐操作节点拖拽与配置,大幅降低 ComfyUI 工作流搭建门槛,提升 AI 绘图/工作流开发效率。

它无需复杂的额外配置,安装后即可在 ComfyUI 内直接调用 Claude Code,适合所有使用 ComfyUI 但希望借助 AI 简化工作流操作的用户,无论是新手还是资深用户,都能通过它快速实现复杂工作流的搭建与优化。

Comfy Pilot:Claude Code 与 ComfyUI 桥梁工具,用 AI 可视化编辑工作流

核心功能:AI 辅助工作流全流程,告别手动繁琐操作

Comfy Pilot 围绕 ComfyUI 工作流的全生命周期,提供了一系列实用功能,核心亮点是「让 Claude Code 替你处理 ComfyUI 的复杂操作」,具体功能如下:

1. MCP 服务器:Claude Code 与 ComfyUI 的核心通讯桥梁

自动搭建 MCP 服务器,为 Claude Code 提供专属工具集,让 AI 能够直接与 ComfyUI 进行数据交互,无需人工中转,支持的核心工具覆盖工作流操作、节点管理、模型下载等全场景(详细工具列表见下文),实现「自然语言指令 → AI 处理 → ComfyUI 执行」的闭环。

2. 嵌入式终端:ComfyUI 内直接调用 Claude Code

内置完整的 xterm.js 终端,浮动显示在 ComfyUI 右上角,无需切换外部窗口:

  • 支持拖动标题栏移动位置、拖动右下角调整大小,支持最小化、关闭、重新连接会话;
  • 直接在终端内与 Claude Code 对话,发送自然语言指令即可让 AI 处理 ComfyUI 相关任务;
  • 终端与 ComfyUI 实时同步状态,操作结果即时反馈,无需反复刷新页面。

3. 工作流可视化编辑:AI 替你拖拽、配置、连接节点

Claude Code 可通过编程方式处理 ComfyUI 节点的全量操作,无需手动拖拽:

  • 查看当前工作流的节点列表、节点信息,生成人类可读的工作流摘要;
  • 批量创建、删除、移动节点,自动连接节点输入输出(如将 CheckpointLoader 与 KSampler 关联);
  • 配置节点参数,甚至支持运行工作流到指定节点、中断正在执行的工作流,满足精细化操作需求。

4. 图像查看与分析:AI 直接解读工作流输出结果

Claude Code 可调用 view_image 工具,查看 ComfyUI 中 Preview Image、Save Image 节点的输出图像:

  • 直接分析图像内容,返回详细描述;
  • 可根据图像结果优化工作流参数,实现「生成图像 → AI 分析 → 优化工作流」的迭代闭环。

5. 节点与模型管理:AI 协助安装、更新、下载

无需手动操作 ComfyUI 管理器,通过自然语言指令即可让 Claude Code 处理:

  • 搜索 ComfyUI 管理器注册表中的自定义节点,一键安装、卸载、更新;
  • Hugging Face、CivitAI 或直接 URL 下载模型,自动保存到 ComfyUI 对应模型文件夹;
  • 支持受保护模型(需令牌认证)的下载,无需手动配置认证信息。

快速安装:三种方式,任选其一(推荐 CLI 安装)

Comfy Pilot 支持三种安装方式,满足不同用户的需求,安装前需确保已安装 ComfyUI 与 Python 3.8+

方式 1:CLI 安装(推荐,最简捷)

在终端中直接运行以下命令,一键完成安装:

comfy node install comfy-pilot

方式 2:ComfyUI 管理器安装(可视化操作,适合新手)

  1. 打开已运行的 ComfyUI 页面;
  2. 点击顶部导航栏的 Manager → 选择 Install Custom Nodes
  3. 在搜索框中输入 "Comfy Pilot",找到对应插件;
  4. 点击 Install 按钮,等待安装完成;
  5. 重启 ComfyUI 使插件生效。

方式 3:Git 克隆安装(适合开发/手动配置)

  1. 进入 ComfyUI 的自定义节点目录:
cd ~/Documents/ComfyUI/custom_nodes
  1. 克隆源码仓库:
git clone https://github.com/ConstantineB6/comfy-pilot.git
  1. 重启 ComfyUI 使插件生效。

提示:如果系统未检测到 Claude Code CLI,安装后会自动触发 Claude Code 的安装流程,无需手动操作。

使用指南:自然语言指令,让 AI 处理一切

1. 基础使用步骤

  1. 安装完成后重启 ComfyUI,打开 ComfyUI 页面;
  2. 右上角将出现浮动的 Claude Code 终端,可拖动调整位置/大小;
  3. 点击终端输入框,发送自然语言指令,即可让 Claude Code 协助处理 ComfyUI 任务;
  4. 等待指令执行完成,查看 ComfyUI 页面的工作流/节点/模型变化,验证结果。

2. 核心指令示例(直接复制使用)

示例 1:查看与摘要工作流

我的当前工作流中有哪些节点?帮我生成一份简洁的工作流摘要。

示例 2:创建并连接节点

添加一个 KSampler 节点,将它的模型输入连接到我的检查点加载器的 MODEL 输出,并且将节点放在工作流的合适位置。

示例 3:查看并分析输出图像

查看 Preview Image 节点的输出图像,告诉我你看到了什么内容,是否符合预期。

示例 4:运行指定节点与中断工作流

运行当前工作流,直到节点 5 停止;如果运行超时,帮我中断执行。

示例 5:下载模型

帮我从 Hugging Face 下载 FLUX.1 schnell 模型,保存到 ComfyUI 的对应模型文件夹中。

示例 6:安装自定义节点

搜索并安装 ComfyUI 的 ControlNet 相关自定义节点,安装完成后重启插件。

3. 核心 MCP 工具列表(Claude Code 可用)

工具名称核心描述
get_workflow获取当前 ComfyUI 中的完整工作流数据
summarize_workflow生成人类可读的工作流摘要,便于理解整体逻辑
get_node_types搜索 ComfyUI 可用节点类型,支持关键词过滤
get_node_info获取指定节点类型的详细参数、输入输出说明
get_status查看 ComfyUI 队列状态、系统资源统计、工作流执行历史
run运行完整工作流或指定运行到某节点,支持中断正在执行的任务
edit_graph核心编辑工具:批量创建、删除、移动、连接、配置节点
view_image查看 Preview Image/Save Image 节点的输出图像并分析
search_custom_nodes搜索 ComfyUI 管理器中的自定义节点注册表
install_custom_node从注册表安装指定自定义节点
uninstall_custom_node卸载已安装的自定义节点
update_custom_node将指定自定义节点更新到最新版本
download_model从 Hugging Face/CivitAI/URL 下载模型到指定目录

架构概览:清晰的前后端通讯流程

Comfy Pilot 采用「前端-后端-MCP 服务器」三层架构,通讯流程清晰,确保操作的实时性与稳定性:

┌─────────────────────────────────────────────────────┐
│  浏览器 (ComfyUI)                                  │
│  ┌─────────────────┐  ┌──────────────────────────┐  │
│  │  xterm.js       │  │  工作流状态              │  │
│  │  终端           │  │  (同步至后端)            │  │
│  └────────┬────────┘  └────────────┬─────────────┘  │
│           │ WebSocket              │ REST API       │
└───────────┼────────────────────────┼────────────────┘
            │                        │
            ▼                        ▼
┌─────────────────────────────────────────────────────┐
│  ComfyUI 服务器                                     │
│  ┌─────────────────┐  ┌──────────────────────────┐  │
│  │  PTY 进程       │  │  插件端点                │  │
│  │  (claude CLI)   │  │  /claude-code/*          │  │
│  └─────────────────┘  └──────────────────────────┘  │
└─────────────────────────────────────────────────────┘
            │                        │
            │                        ▼
            │           ┌──────────────────────────┐
            └──────────▶│  MCP 服务器              │
                        │  (stdio 传输)            │
                        └──────────────────────────┘
  1. 前端(浏览器):xterm.js 终端提供交互入口,同步工作流状态,通过 WebSocket/REST API 与后端通讯;
  2. 后端(ComfyUI 服务器):运行 PTY 进程(Claude CLI),提供插件专属端点,转发前端指令与 MCP 服务器结果;
  3. MCP 服务器:核心通讯桥梁,接收 Claude Code 指令,处理 ComfyUI 相关操作,返回执行结果。

故障排除:常见问题解决方案

问题 1:“找不到 'claude' 命令”

原因:系统未安装 Claude Code CLI,无法调用 Claude Code。
解决方案:根据操作系统安装 Claude Code CLI:

  • macOS / Linux / WSL
curl -fsSL https://claude.ai/install.sh | bash
  • Windows (PowerShell)
irm https://claude.ai/install.ps1 | iex
  • Windows (CMD)
curl -fsSL https://claude.ai/install.cmd -o install.cmd && install.cmd && del install.cmd

问题 2:MCP 服务器连接失败

原因:插件自动配置 MCP 服务器失败,Claude Code 无法与 ComfyUI 通讯。
解决方案:手动配置 MCP 服务器,编辑 ~/.claude.json 文件,添加以下配置:

{
  "mcpServers": {
    "comfyui": {
      "command": "python3",
      "args": ["/path/to/comfy-pilot/mcp_server.py"]
    }
  }
}

提示:将 /path/to/comfy-pilot/ 替换为你实际的 comfy-pilot 插件目录(位于 ComfyUI/custom_nodes/ 下)。

问题 3:终端断开连接

原因:WebSocket 通讯中断,可能是 ComfyUI 重启或网络波动导致。
解决方案

  1. 点击终端上的  按钮,重新连接会话;
  2. 查看 ComfyUI 控制台(终端)是否有错误信息,排查插件运行异常;
  3. 若仍无法连接,重启 ComfyUI 尝试。
© 版权声明

相关文章

暂无评论

none
暂无评论...