ComfyUI-Tessera:基于 MiniMax H3 的生产级视频放大插件,单消费卡跑 2K/4K/8K 长视频

插件43分钟前发布 小马良
2 0

ComfyUI-Tessera 是一款专为 ComfyUI 环境设计的生产级视频放大自定义节点,底层构建于 MiniMax H3 模型之上。

  • GitHub:https://github.com/hashu786/ComfyUI-Tessera
  • 模型:https://huggingface.co/Alissonerdx/Minimax-H3-ComfyUI

其核心工程突破在于引入了流式 VAE 编码与解码机制,使得全分辨率的像素片段无需一次性载入显存。通过逐瓦片(Tile)、逐块(Block)的精炼处理,该工具能够在单块消费级 GPU 上,将任意长度的视频片段稳定放大至 2K、4K 甚至 8K 分辨率,有效规避了传统高分辨率视频处理中常见的显存溢出(OOM)问题。

环境配置与安装部署(核心重点)

正确的环境配置是工作流正常运行的前提。Tessera 的设计原则是轻量化,无需额外的 Python 依赖包,安装过程直接且标准化。

1. 节点安装

打开终端或命令行工具,导航至 ComfyUI 的 custom_nodes 目录,执行以下 Git 克隆命令:

cd ComfyUI/custom_nodes
git clone https://github.com/hashu786/ComfyUI-Tessera

验证安装:安装完成后,启动 ComfyUI。观察控制台输出,若成功注册,系统将打印类似 [Tessera] loaded 9 node(s): ... 的提示信息。若无此提示,请检查网络连通性或目录权限。

2. 核心模型依赖准备

Tessera 依赖以下本地开放权重模型,需提前下载并放置于 ComfyUI 的标准模型目录中:

  • 核心视频模型:MiniMax H3 ref2va + 视频/音频 VAE + Qwen3-VL 文本编码器。
  • 细节增强:LMS 细节 LoRA(由 Alissonerdx 提供),作为内部配方的一部分,用于提升锐度与细节表现。
  • 可选辅助模型:
    • Qwen Image 2.1:用于首帧细节锚定(静帧输入),确保放大起始帧的清晰度。
    • SAM3:用于生成主角主体的精确蒙版,辅助模型聚焦核心区域。

核心节点功能解析

Tessera 将复杂的视频放大流程拆解为 9 个独立且协同的节点,赋予用户对渲染过程的精细控制权:

节点功能说明
Tessera Streamed Encode按时间窗口流式编码源视频,输出放大底板潜变量与引导条件,解决高倍放大OOM
Tessera Refine瓦片精炼核心,支持分块时序处理、主体优先瓦片、空白瓦片跳过、异常兜底输出
Tessera Streamed Decode独立流式解码器,同时支持从备份潜变量恢复渲染
Tessera Tile Plan预演瓦片网格、分块布局、预估算力开销,提前评估成本
Tessera Guide Anchor首帧细节锚定,光流传播细节、偏移校正
Tessera Temporal Dilate / Decimate帧率膨胀适配高速动作,输出精准重定时
Tessera Guide Grain给引导图匹配胶片颗粒质感
Tessera Extra Options高级参数面板,附带经过实测的默认配方

关键参数配置与工程实践

为了在渲染质量与计算效率之间取得最佳平衡,以下核心参数的设置逻辑需重点关注:

  • 显存预算控制 (spatial_tile / temporal_tile):
    提供 high_vram 和 low_vram 两种模式。系统会根据选择,同步缩放瓦片尺寸和时间窗口,以确保在包含时序膨胀的情况下,依然符合当前 GPU 的显存预算。
  • 防幻觉与算力回收 (flat_skip,默认值 4.0):
    对于无显著特征的瓦片区域(如天空、烟雾、无缝背景),系统会保留原始底板而非重新采样。这不仅防止了模型在这些区域“幻觉”出虚假细节,还能直接收回计算步骤,显著提升速度。注意:此功能需要来自 Streamed Encode 的正向链支持,设为 0 则禁用该机制。
  • 首帧锚定策略:
    若需进行真正的细节中继,建议以 2 倍分辨率馈送细节静帧。工程建议:在 4 倍及以上放大时,不要插入锚点,应直接让模型进行渲染。若必须使用锚定,请将 motion_release_floor 参数设置为 0.3,以平衡细节保留与运动流畅度。
  • 合成模式权衡 (composite,位于 Extra Options):
    • Pixel 模式:对每个瓦片进行像素级解码,并在像素空间执行交叉淡化。优势:增加约 0.9% 的精细细节。适用于追求极致画质的工作流。
    • Latent 模式:在潜在空间(Latent)进行拼接,随后统一解码一次。优势:提升约 1.7% 的时间稳定性,且在 1080p 下速度提升约 7%,4K 下速度提升 10% 以上。适用于追求速度的工作流。注意:对于长视频的分块运行,始终建议使用 Latent 模式以保证稳定性。
  • 中断恢复机制:
    若最终解码阶段因磁盘空间不足等原因失败,系统会将已精炼的潜在数据保存为 tessera_rescue_*.latent 文件。用户可通过 LoadLatent 节点加载该文件,并连接至 Tessera Streamed Decode,从而直接恢复渲染,无需从头重新采样,大幅节省时间与算力。

默认参数设计的工程逻辑

Tessera 的所有默认参数均非随意设定,而是基于大量真实渲染测试的测量结果,并将失败案例记录在修复逻辑旁。其底层遵循以下工程定律(完整技术笔记详见仓库内的 docs/LAWS.md):

  1. 群相位定律:解释了为何块窗口必须吸附到 H3 模型的 Token 时序上,以维持时序相位的一致性。
  2. 内容时间预算:决定了为何时间窗口需要随帧率膨胀进行动态缩放,以匹配计算资源的分配。
  3. 拼接尺度与中继释放定律:明确了锚点在何种分辨率和运动幅度下能提供帮助,在何种情况下反而会产生负面干扰。
  4. 平瓦片定律:从数学层面解释了为何对无特征(平坦)瓦片进行采样容易引发模型幻觉,从而验证了 flat_skip 机制的必要性。
  5. 流式编解码验证:确保了在显存受限环境下,分块编码与解码的误差累积处于可控范围内。

快速开始工作流

对于希望快速验证效果的用户,可按以下步骤操作:

  1. 在 ComfyUI 中打开 example_workflows/tessera_upscaler.json 示例工作流。
  2. 在 LoadVideo 节点中指定你的源视频片段路径。
  3. 设置所需的放大因子(Scale Factor)。
  4. 点击运行。示例中的默认值即为经过验证的配方,通常可开箱即用,直接输出高质量结果。
© 版权声明

相关文章