ComfyUI Video Tiler:专为 LTX 2.3 与 MiniMax H3 打造的显存优化平铺工具

插件3个月前发布 小马良
155 0

在利用 LTX 2.3 或 MiniMax H3 等先进模型进行视频放大或生成时,显存(VRAM)往往是最大的瓶颈。高分辨率和长片段会导致内存溢出,而传统的切片方法又容易在接缝处产生明显的伪影。ComfyUI Video Tiler 是一款注重内存管理的视频/图像平铺工具包,通过重叠平铺、间隙处理和羽化混合技术,让高规格工作流在有限硬件上成为可能。

  • GitHub:https://github.com/maDcaDDie2000/comfyui-video-tiler

该工具包特别针对 LTX 2.3 和 MiniMax H3 的平铺放大工作流进行了构建和测试,同时也支持其他模型。它提供了两种核心路径:标准内存工作流(适合显存充足的用户)和磁盘支持的低显存工作流(适合长视频或低配机器)。

核心功能:灵活切片与无缝合并

1. 智能切片器

  • 可变尺寸切片 (Var. Size):支持网格布局,可自定义水平/垂直单元格数量、间隙、接缝平铺及重叠扩展。
  • 固定尺寸切片 (Fixed Size):基于固定的平铺宽高和分数重叠(如 1/4, 1/2),支持行、列、螺旋等多种遍历模式。
  • 几何配置复用:生成的 tile_config 仅包含几何信息,更改合并羽化参数时无需重新切片,提升调试效率。

2. 高级合并引擎

  • 羽化混合:支持可调的羽化宽度、羽化曲线(线性、 ease_in/out 等)及混合模式(Alpha Over 或加权平均),有效消除接缝痕迹。
  • 设备选择:合并节点支持 auto、cpu 或 cuda 模式。在 CPU 上合并可大幅降低显存峰值,而在 CUDA 上合并则速度更快。
  • 参考颜色匹配:合并后可向参考片段进行低频颜色牵引,确保整体色调一致,同时保留高频细节。

3. 磁盘支持的低显存工作流

这是该工具包的杀手锏,专为处理无法一次性装入内存的长视频或高分辨率任务设计:

  • 分步处理:每次只提取并处理一个平铺,将其保存为无损的 .pt PyTorch 张量文件。
  • 流式合并:在所有平铺处理完毕后,节点会逐个从磁盘加载已保存的平铺并混合到最终输出缓冲区中,避免了将所有中间结果常驻内存。
  • 自动化索引:提供 Video Tile Disk Indexes 节点,方便配合 ComfyUI 的列表执行或队列自动化功能,批量处理所有平铺。

辅助工具:精准计时与音频检测

  • 采样器计时器:通过 Sampler Timer Start 和 Result 节点,精确测量采样器的实际耗时(平均秒数、总秒数、每步耗时),帮助开发者优化工作流性能。
  • 音频存在检测:自动检测 AUDIO 包中是否包含真实音频流或波形能量,便于在后续节点中做出分支决策。

安装与使用

1. 安装

cd ComfyUI/custom_nodes
git clone https://github.com/maDcaDDie2000/comfyui-video-tiler

重启 ComfyUI 后,常规节点将出现在 Video Tiler 类别下,磁盘支持节点位于 Video Tiler/Disk 下。

2. 工作流选择

  • 显存充足:使用 Video Tile Slicer -> 放大分支 -> Video Tile Merge。
  • 显存紧张/长视频:
    1. 第一轮:Slicer -> Disk Job -> Disk Get Tile (单个) -> 放大分支 -> Disk Save Tile。
    2. 第二轮:Disk Merge 节点读取所有保存的 .pt 文件并合成最终视频。

实践建议

  • 文件格式:磁盘平铺保存为 .pt 文件而非图片,以确保无损且保留精确的批次张量结构。
  • 内存优化:若追求最低显存占用,建议在 Video Tile Disk Merge 中设置 merge_device=cpu。
  • 兼容性:主要测试于 LTX 2.3 和 MiniMax H3,但也兼容 VideoHelperSuite 风格的 IMAGE/AUDIO 数据流。
© 版权声明

相关文章