ComfyUI-PiD:将英伟达 PiD 像素扩散解码器引入 ComfyUI,支持 Flux/SD3/Z-Image 一键生成 4K 高清图像

插件5个月前发布 小马良
412 0

ComfyUI-PiD 是一个专为 ComfyUI 设计的自定义节点,它将英伟达最新的 PiD (Pixel Diffusion Decoder) 技术无缝集成到工作流中。不同于传统的 VAE 解码器,PiD 通过像素空间扩散直接生成高分辨率图像,能够显著提升 Flux、SD3、Z-Image 等主流模型的输出画质,轻松实现 2K 甚至 4K 级别的细节呈现。

  • GitHub:https://github.com/Merserk/ComfyUI-PiD
ComfyUI-PiD:将英伟达 PiD 像素扩散解码器引入 ComfyUI,支持 Flux/SD3/Z-Image 一键生成 4K 高清图像

英伟达发布 PiD:像素扩散解码器统一解码与超分,210ms 生成 2K 图像,显存仅需 13GB

核心亮点:为何选择 ComfyUI-PiD?

1. 像素级高清解码

  • 超越 VAE:PiD 不是简单的重建,而是基于潜在表示和提示词进行“生成式解码”,能补充高频细节,修复文字,锐化边缘。
  • 多模型支持:原生支持 Flux (1/2)、SD3、Z-Image 以及 DINOv2/SigLIP 等语义潜在表示。
  • 超分能力:支持 4x 甚至 8x 放大,例如从 512×512 直接生成 2048×2048,或从 1024×1024 生成 4096×4096。
ComfyUI-PiD:将英伟达 PiD 像素扩散解码器引入 ComfyUI,支持 Flux/SD3/Z-Image 一键生成 4K 高清图像

2. 智能显存管理

  • 分阶段工作流:提供 PiD Prepare → PiD Sample → PiD Finalize 的分阶段节点,允许在子进程中运行繁重的采样步骤,并在采样后释放 CUDA 内存。
  • 自动卸载:支持 unload_comfy_before_pid 和 aggressive_cleanup,在 PiD 运行前卸载 ComfyUI 主进程占用的显存,最大化可用资源。
  • 懒加载与自动下载:首次运行时自动下载所需源码、检查点和资源,简化配置流程。

3. 灵活的控制参数

  • Sigma 感知:支持传入 Sigma 值,允许对部分去噪的潜在表示进行解码,实现更灵活的生成控制。
  • 基线图像可选:对于官方潜在条件检查点,可跳过基线图像路径以节省 VRAM;也可提供基线图像以固定输出尺寸。
  • 提示词增强:内置 PiD Text Prompt 节点,同时处理 CLIP 文本和 PiD 专用说明。

安装与前置要求

1. 安装步骤

cd ComfyUI/custom_nodes
git clone https://github.com/Merserk/ComfyUI-PiD.git
cd ComfyUI-PiD
python -m pip install -r requirements.txt

重启 ComfyUI。

2. 系统要求

  • Python: >= 3.10
  • GPU: NVIDIA CUDA GPU
  • VRAM: 建议 12GB+ 用于 2K 输出,24GB+ 用于 4K 输出(或使用分阶段工作流)。
  • ComfyUI: 正常工作的最新安装版。

节点详解

节点名称功能描述
PiD Decode一键解码节点,输入 Latent + Caption + Sigma,直接输出 Image。适合显存充足用户。
PiD Prepare在 CPU 上准备数据(Latent, Caption, Checkpoint),为采样做准备。
PiD Sample在子进程中执行核心的 PiD 扩散采样,完成后释放 GPU 内存。
PiD Finalize将采样结果转换回 ComfyUI 标准的 Image 张量。
PiD KSampler Capture兼容标准 KSampler,捕获中间 Latent 和对应的 Sigma,供 PiD 使用。
PiD Text Prompt专用文本框,同时输入 CLIP 提示词和 PiD 说明。

推荐工作流

1. 基础一键工作流(显存充足)

  • 连接:Latent + Caption + Sigma (0.0) → PiD Decode → Save Image
  • 设置:
    • backbone: zimage (或 flux/sd3)
    • pid_ckpt_type: 2k
    • scale: 4 (输出 4 倍分辨率)
    • auto_download: true
    • unload_comfy_before_pid: true

2. 最低 VRAM 分阶段工作流(显存紧张)

此流程通过子进程和显存释放机制,让低显存卡也能跑通高分辨率解码。

  1. 捕获 Latent:使用 PiD KSampler Capture 获取最终 Latent 和 Sigma。
  2. 准备数据:PiD Prepare 接收 Latent 和 Caption,在 CPU 端处理。
  3. 采样:PiD Sample 接收 Prepare 的输出,在独立进程中运行。
  4. finalize:PiD Finalize 接收 Sample 的输出,转换为 Image。
  5. 保存:Save Image。

支持的主干与检查点

Backbone潜在通道检查点类型默认缩放比例
zimage162k, 2kto4k4x
flux162k, 2kto4k4x
flux21282k, 2kto4k4x
sd3162k, 2kto4k4x
dinov27682k–
siglip11522k8x

注:scale=0 时使用模型默认比例。

注意事项

  • 非官方项目:这是社区开发的包装器,并非 NVIDIA 或 ComfyUI 官方产品。
  • 许可协议:NVIDIA 的 PiD 权重可能有特定的商业使用限制,使用前请查阅模型卡片。
  • Sigma 选择:虽然 sigma=0.0 可用,但使用 PiD KSampler Capture 捕获的中间 Sigma 通常能获得更符合官方预期的效果。
  • 显存警告:4K 输出对显存要求极高,若遇到 OOM,请务必启用 sequential_offload 或使用分阶段工作流。
© 版权声明

相关文章