ComfyUI‑HR‑Endless‑Sampler:长视频无限分块采样扩展,解决MiniMax‑H3超长影片连贯性难题

插件2个月前发布 小马良
206 0

ComfyUI-HR-Endless-Sampler 是专为 MiniMax H3 模型设计的先进采样节点,旨在解决长视频生成中的显存限制和连贯性问题。它通过引入 Gemma 4 12B QAT 作为“导演”,自动将长提示词拆解为多个小块(Chunks),并为每个块规划动作时间与细节描述,从而实现任意长度视频的连续、 coherent 渲染。

  • GitHub:https://github.com/hradec/ComfyUI-HR-Endless-Sampler
  • Gemma 4:https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf
  • 修改版:https://huggingface.co/RachidAR/gemma-4-12B-it-qat-q4_0-MTP-assistant-gguf

目前该插件仅支持 MiniMax H3,未来计划扩展至 LTX 2.5。

ComfyUI‑HR‑Endless‑Sampler:长视频无限分块采样扩展,解决MiniMax‑H3超长影片连贯性难题

核心亮点

  • 智能分块与规划:
    • 利用 Gemma 4 12B 分析原始提示词和参考素材,为整个视频制定时间线计划。
    • 为每个渲染块生成独立的细化提示词(Detailed Description),确保局部细节与全局叙事的一致性。
  • 无缝连续性保持:
    • 通过 video_continuation 机制,将前一个块的尾部帧作为下一个块的参考(Video1/Audio1 Reference),实现视觉与听觉的自然过渡。
    • 自动使用前一块的最后五帧作为边界关键帧,进一步平滑衔接。
  • 实时可视化预览:
    • HR Endless Sampler Preview 节点提供带时间滑块的实时预览,显示镜头括号、块进度及性能图表。
    • 悬停即可查看 Gemma 为该块生成的具体提示词及耗时分解。
  • 完整的元数据保存与回溯:
    • Save/Load Video 节点不仅保存视频,还嵌入或侧载完整的时间线元数据(JSON)。
    • 加载时可恢复交互式播放器,快速对比不同版本的渲染结果、提示词及块映射。
  • 性能优化:
    • 支持 Gemma 4 MTP (Multi-Token Prediction) 推测解码,显著提升规划速度。
    • 提供 video_continuation_res 选项,通过降低续接参考的空间分辨率来节省显存,允许更大的块尺寸。
    • 内置 PyTorch 内存分数控制,防止显存溢出。

包含节点详解

节点名称功能描述
HR Endless Sampler核心采样器。接收完整提示词、参考图/视频,调用 Gemma 规划并串行执行 H3 采样,输出潜空间、块提示词及时间线元数据。
HR Endless Sampler Preview实时预览节点。显示累积渲染结果、块颜色条、镜头括号,支持悬停查看提示词详情及帧步进。
HR Endless Sampler Save Video保存节点。支持 H.264 MP4、EXR 序列等格式,嵌入时间线元数据,保留音频轨道,并提供轻量级回放界面。
HR Endless Sampler Load Video加载节点。浏览或上传已保存视频,解析元数据并恢复交互式播放器,输出解码后的帧、音频及时间线供下游使用。

关键参数设置

  • chunk_frames:单次 H3 采样的帧数。建议根据显存调整,16GB 显卡下 1080p 可尝试 39-56 帧。
  • video_continuation:从上一块带入下一块的参考帧数。默认 22 帧,最小 5 帧。较大值提升连续性但增加显存负担。
  • video_continuation_res:续接参考的空间分辨率。设为 full 保持最高质量;较小预设可降低显存占用,允许更大块尺寸。
  • gemma4_mtp:启用 Gemma 的 MTP 推测解码加速。若遇到兼容性问题可关闭。
  • cache_gemma_preproduction:缓存 Gemma 的静态上下文到系统 RAM,加速后续块的规划过程。
ComfyUI‑HR‑Endless‑Sampler:长视频无限分块采样扩展,解决MiniMax‑H3超长影片连贯性难题

Gemma‑4‑12B运行机制

采样器依靠 llama‑cpp‑python 运行 GGUF 量化版 Gemma 4 12B QAT 模型。

设计上采用进程隔离方案:Gemma运行的时候,H3、Qwen、视频VAE会被卸载释放显存;Gemma任务结束进程退出之后,视频模型再重新载入,显存资源分时复用,大幅降低峰值占用。

Gemma 的镜头规划文案模板文件 gemma4_prompts.txt 支持直接修改提示词措辞,不用改动项目源码。

首次启动扩展会自动下载模型权重至 models/llama_cpp/

预览播放器、保存与加载功能亮点

  • 彩色可视化时间轴:不同色块对应每一个渲染块,括号标记镜头边界
  • 鼠标悬浮色块,查看Gemma为本片段生成的提示词、各环节耗时统计
  • 浏览器刷新不会丢失预览进度
  • 导出视频时附带双保险元数据:视频内嵌标签 + 独立 .json 侧车文件,防止转码丢失分块日志
  • EXR序列导出:支持16位/32位浮点原始VAE数值,附带独立WAV音频文件
  • “匹配视频”下拉列表,快速调取同一系列往期成片,前后版本对比调试

提示词镜头格式

沿用 MiniMax‑H3 标准镜头脚本写法

[Shot 1] 老虎穿过丛林。
[Shot 2] At 00:02.833, the camera cuts inside the temple.

fps数值和脚本内时间码帧率统一,推荐固定24FPS。

快速上手指南

  1. 替换采样器:在工作流中用 HR Endless Sampler 替换原有的普通 Sampler 节点。
  2. 连接输入:
    • clip: 连接 H3 模型的 CLIP。
    • vae: 连接视频 VAE。
    • images: 连接参考图像(Ref2VA)。
    • prompt: 连接包含 [Shot N] 格式的完整提示词文本。
    • fps: 通常设为 24。
  3. 添加预览:在 Sampler 后连接 HR Endless Sampler Preview 以监控进度。
  4. 保存结果:使用 HR Endless Sampler Save Video 保存最终视频及元数据。

16GB 显存渲染 1080p 技巧

  • 使用 KJNodes MiniMax H3 Low VRAM Attention 节点辅助,可将 chunk_frames 提升至 56。
  • 若不使用低显存注意力优化,建议将 chunk_frames 降至 39,并配合 22 帧的 video_continuation。
  • 适当降低 video_continuation_res 也能有效缓解块间切换时的显存峰值。

当前限制

  • 仅支持 MiniMax H3 模型。
  • 不支持分块去噪掩码。
  • Gemma 仅观察视频帧,不直接评估音频质量,但会保留提示词中的声音指令。
© 版权声明

相关文章