ComfyUI PAN2 Prompt Builder:专用节点自动把提示词转为 PAN2 规范结构化 JSON

插件8小时前发布 小马良
5 0

ComfyUI PAN2 Prompt Builder 是一个专注于 PAN2 扩散模型的自定义节点。它利用 PAN2 兼容的 Qwen3.5-9B 文本编码器,将用户输入的自然语言提示词自动转换为符合 PAN2 规范的七字段结构化 JSON Caption。该节点内置了官方提示词重写规则、严格的格式校验逻辑以及自动修复机制,旨在解决 LLM 输出不稳定导致的生成失败问题,并输出按视频时长自动调整的负向提示词。

  • GitHub:https://github.com/slmonker/ComfyUI-PAN2-PromptBuilder

MBZUAI 开源 PAN 2:29B 开源物理 AI 世界模型,主打多步任务视频模拟

ComfyUI PAN2 Prompt Builder:专用节点自动把提示词转为 PAN2 规范结构化 JSON

核心功能与优势

  1. 自动化结构化转换:
    • 将普通文本提示词转换为 PAN2 所需的复杂 JSON 结构(包含主体、动作、镜头、质量等七个顶层字段)。
    • 使用已连接的 PAN2 Qwen3.5-9B CLIP 模型进行语义理解和重写,确保提示词与模型潜在空间高度匹配。
  2. 智能校验与自动修复:
    • 结构校验:检查七个顶层字段的完整性、连续的 <|SubjectN|> ID、事件与镜头的时间覆盖、镜头标签合法性等。
    • 逻辑修复:自动补全缺失的 contained_actions 数组或镜头运动(默认为 static);修正零长度、重叠或越界的镜头段;推断动作的主体归属;规范化镜头标签(如将 slow_zoom_out 标准化)。
    • 状态反馈:通过 status 输出记录所有检测到的错误及自动修复项,方便调试。
  3. 原生参数适配:
    • 自动生成与视频时长匹配的官方负向提示词 JSON。
    • 支持可选的 I2V(图生视频)首帧条件输入。
    • 除 ComfyUI 外无额外 Python 依赖,轻量高效。

关键注意事项:PAN2 采样设置

⚠️ 重要警告:在 PAN2 的工作流中,严禁在 UNETLoader 和 KSampler 之间插入 ModelSamplingSD3 或 Flow Shift 节点。

  • 原因:PAN2 原生使用 shift = 9 和 multiplier = 1.0。而 ModelSamplingSD3 默认使用 multiplier = 1000,这会破坏 PAN2 的归一化时间步条件,导致输出纯噪声。
  • 正确连接:UNETLoader → KSampler。中间可以保留注意力包装节点,但绝不能添加模型采样覆盖节点。

环境与模型要求

  • ComfyUI 版本:0.45.0 或更新版本(需包含 PR #17755 以支持 PAN2)。
  • 必需模型:
    • 扩散模型:pan2_int8_convrot.safetensors (推荐) 或 BF16 版本。
    • 文本编码器:qwen3.5_9b_int8_convrot.safetensors (必须为 PAN2 兼容版)。
    • VAE:wan2.2_vae.safetensors。
  • 推荐路径:
    ComfyUI/models/diffusion_models/pan2_int8_convrot.safetensors
    ComfyUI/models/text_encoders/qwen3.5_9b_int8_convrot.safetensors
    ComfyUI/models/vae/wan2.2_vae.safetensors
    

安装与使用

1. 安装

cd ComfyUI/custom_nodes
git clone https://github.com/slmonker/ComfyUI-PAN2-PromptBuilder.git

重启 ComfyUI。

2. 节点查找

搜索名称:PAN2 Prompt Builder (JSON)
分类:PAN2

3. 工作流连接

  • CLIPLoader (type = pan2) 的输出连接到节点的 clip 输入。
  • 普通提示词 连接到 prompt 输入。
  • 可选首帧图片 连接到 image 输入。
  • 输出连接:
    • pan2_json → CLIPTextEncode (正向) 的 text。
    • negative_json → CLIPTextEncode (负向) 的 text。
    • frames → Wan22ImageToVideoLatent 的 length。

4. 推荐生成参数

  • 分辨率:1248×704 (横屏) 或 704×1248 (竖屏)
  • FPS:24
  • 时长:10秒 (对应 241 帧)
  • Steps:50
  • CFG:2.5
  • Sampler:Euler
  • Scheduler:Simple
  • PAN2 Shift:9
  • Multiplier:1.0

常见问题排查

  • 输出纯噪声:
    • 检查是否误连了 ModelSamplingSD3。
    • 确认 shift=9, multiplier=1.0。
    • 确认 VAE 为 wan2.2_vae.safetensors。
  • JSON 为空或格式错误:
    • 查看 raw_response 和 status.warnings。
    • 在环境稳定前,建议开启 strict=true 以便及时发现错误。
  • 无法生成文本:
    • 确认使用的是 PAN2 兼容的 Qwen3.5-9B 文件。
    • 确认 CLIPLoader 类型选择为 pan2。

ComfyUI PAN2 Prompt Builder 通过标准化的提示词工程,显著降低了 PAN2 视频生成的门槛,是构建高质量 T2V 和 I2V 工作流的必备工具。

© 版权声明

相关文章