ComfyUI-Latent-Tiled-PiD:潜空间原生分块解码,实现33MP+无接缝PiD输出

插件3个月前发布 小马良
99 0

ComfyUI-Latent-Tiled-PiD 是一款面向英伟达Pixel Diffusion Decoder (PiD) 的 ComfyUI 自定义节点包,核心创新在于直接在潜空间进行分块解码,而非传统流程中对像素图像分块再重编码。

  • GitHub:https://github.com/BennyDaBall930/ComfyUI-Latent-Tiled-PiD

该方案将生成的潜空间切片为重叠块,每块在PiD训练信封(1024→4096)内独立解码后羽化混合,实测单张RTX 5090上可从2MP潜空间生成33MP无接缝图像(7680×4352),最高验证至107MP(13824×7776),成本线性扩展约1MP/秒。项目提供Size Picker预设下拉菜单(53个经QA验证的配置)、Decode节点及QA对比工具,仅支持Krea 2 Turbo模型,需ComfyUI ≥0.28及NVIDIA许可的PiD检查点。

英伟达发布 PiD:像素扩散解码器统一解码与超分,210ms 生成 2K 图像,显存仅需 13GB

ComfyUI-PiD:将英伟达 PiD 像素扩散解码器引入 ComfyUI,支持 Flux/SD3/Z-Image 一键生成 4K 高清图像

ComfyUI-Latent-Tiled-PiD:潜空间原生分块解码,实现33MP+无接缝PiD输出

核心原理:为何潜空间分块优于像素分块

传统PiD分块流程存在根本缺陷:先解码全图→像素分块→重VAE编码→PiD解码,导致有损往返且块非真实潜空间。本项目直接操作采样器输出的原始潜空间:

  • 比特精确裁剪:每个块以潜空间原生切片作为条件,避免像素重编码引入的失真
  • RoPE相对性利用:PiD的位置编码是相对的,裁剪潜空间作为独立图像解码与原生渲染不可区分
  • sigma门控LQ注入:保持各块全局一致性,防止色度崩溃(白色变粉、色度噪声)
  • 升余弦羽化:互补权重和恒为1,接缝梯度比0.77–1.04(1.0为统计不可见),彻底消除拼接痕迹

关键约束:输出分辨率始终是潜空间的4倍。块数由潜空间尺寸自动计算,无需手动配置“分块模式”——这正是防止用户将块推出训练信封导致颜色崩溃的设计哲学。

ComfyUI-Latent-Tiled-PiD:潜空间原生分块解码,实现33MP+无接缝PiD输出

节点功能与使用规范

Latent-Tiled PiD Size Picker(推荐入口)

(nothing) -> LATENT
替代EmptySD3LatentImage,提供53个端到端QA验证的预设(覆盖9种宽高比,从4K单块到244MP):

示例:16:9 | 渲染1920x1088 → 输出7680x4352 | 33MP | 4块

  • 所有预设均在Krea 2 Turbo上完整测试,判定结果见docs/preset_sweep_report.md
  • 刻意排除<1024单块条目(低于训练分辨率会导致模糊与重新解释)
  • 三个~210MP变体因色度门限超标被淘汰,未发布

Latent-Tiled PiD Decode

MODEL + CONDITIONING + LATENT -> IMAGE

输入说明固定值/默认
modelPiD检查点(如pid_qwenimage_1024_to_4096_4step_bf16.safetensors)—
positiveGemma-2 CLIPTextEncode(类型pixeldit),空提示可用—
latentKSampler直出潜空间(qwen/flux/sd3/sdxl)—
max_tile阶段1像素最大块边长1024(训练信封,改小省显存但不改输出尺寸)
overlap羽化带宽度(输出x4)64
degrade_sigma噪声潜空间条件0.0(仅半去噪潜空间需调高)
seed块i噪声 = seed + 101*(i+1)任意
  • 强制4步蒸馏调度(0.999, 0.866, 0.634, 0.342, 0),lcm采样器,cfg=1.0
  • 每块进度条可中断,无临时文件
  • 禁止提高max_tile:超出1024即触发颜色崩溃

Latent-Tiled PiD QA

IMAGE + IMAGE -> STRING
对比PiD解码与普通VAE解码输出:

  • 中间色调色度增量:健康值10–15,>20标记崩溃
  • 阴影绿色偏置增量:±3内合格
  • 新分辨率/模型组合必跑此节点

部署环境与已知边界

硬性要求

  • ComfyUI ≥ 0.28(核心PiD支持)
  • PiD检查点遵循NVIDIA许可证(非商业研究/评估)
  • 仅验证Krea 2 Turbo(krea2_turbo_fp8_scaled.safetensors + qwen3vl_4b_fp8_scaled文本编码器)
  • 其他qwen家族模型行为应相同,但flux/sd3/sdxl路径未经测试;若使用请依赖QA节点判定

测试环境基准(问题排查首要对照项)

组件版本
ComfyUI0.30.1
Python3.13.12
PyTorch2.13.0+cu130
GPURTX 5090 32GB + sage-attention + cudaMallocAsync
已验证输出16.5MP / 33.4MP / 59MP / 107.5MP

已知限制

  • 107MP时阴影绿色偏置+3.9(略超±3阈值),为色调拉伸早期信号
  • ComfyUI核心LatentCrop会破坏5维qwen/Wan潜空间(T/H误作H/W索引);本包以秩无关方式切片,不受影响
  • 无“强制减少块数”选项——此举会将块推离训练信封,正是节点要防止的故障
  • v1.5 PiD检查点未测试,仅v1验证

安装与示例

cd ComfyUI/custom_nodes
git clone https://github.com/BennyDaBall930/ComfyUI-Latent-Tiled-PiD
# 重启ComfyUI,节点位于 latent/pid 下

推荐工作流:example_workflows/krea2_turbo_sizepicker.json(Size Picker → KSampler → Decode → QA)

方法论与可复现性

完整证据集(校准数据、崩溃表征、无头驱动脚本)托管于配套仓库pid-tiled-decode,支持通过ComfyUI API集成到自动化流水线。项目强调测量驱动开发:所有预设均经QA扫描,失败案例公开记录而非隐藏,确保用户决策基于实证而非猜测。

对于追求超高分辨率AI图像生成的创作者,此工具提供了当前最可靠的PiD扩展路径。但请记住:它的强大建立在严格遵守训练信封的前提下——任何试图“突破限制”的操作都会以洋红色噪声作为代价。尊重模型的合同边界,才是获得干净输出的唯一捷径。

© 版权声明

相关文章