ComfyUI-FramePackWrapper_PlusOne:为 FramePack提供 F1 采样支持的视频生成包装器

插件6个月前发布 小马良
428 0

ControlNet 的作者 Lvmin Zhang基于腾讯混元视频生成模型的项目FramePackComfyUI上有不少插件,今天要介绍的这款插件ComfyUI-FramePackWrapper_PlusOne ,由开发者 tori29umai0123 在原有 ComfyUI-FramePackWrapper_Plus 基础上进行改进,专注于提升时间连贯性和 LoRA 支持。虽然作者表示无意长期维护,但欢迎社区对其进行改进,尤其鼓励对 Framepack 1f-mc 的进一步优化。

🧩 功能亮点

功能描述
 F1 采样器支持使用改进版 F1 采样方法,显著提升视频质量和帧间一致性
 LoRA 集成完整支持 HunyuanVideo LoRA 模型,提供权重融合选项
 时间戳提示系统支持在指定时间段内应用不同提示,实现动态视频控制
 灵活输入控制支持参考图像或空潜变量(empty latent)作为起始点
 分辨率自动优化内置桶查找机制,适配最佳视频尺寸
 混合过渡控制实现多个提示之间的平滑切换

📦 安装指南

手动安装

将本项目作为自定义节点安装到你的 ComfyUI 环境中:

cd ComfyUI/custom_nodes
git clone https://github.com/tori29umai0123/ComfyUI-FramePackWrapper_PlusOne.git

安装依赖项:

pip install -r requirements.txt

ComfyUI Manager安装

通过ComfyUI Manager搜索“ComfyUI-FramePackWrapper_PlusOne”后,点击安装后重启ComfyUI。

下载并放置所需模型文件至 models 文件夹:

🧪 所需模型

🛠️ 使用方式简要流程

  1. 加载 HunyuanVideo 模型并配置基础参数;
  2. (可选)通过 FramePackLoraSelect 添加 LoRA 模型;
  3. 准备输入图像或使用空潜变量;
  4. 利用 CLIP Vision 编码获取图像嵌入;
  5. 使用 FramePackTimestampedTextEncode 设置带时间戳的提示;
  6. 调用 FramePackSampler (F1) 生成视频。

⏱️ 时间戳提示格式详解

你可以使用如下格式编写带时间戳的提示内容,以控制不同时间段的视觉表现:

[0s: A beautiful landscape, mountains in the background]
[5s-10s: Camera pans to reveal a lake, reflections of clouds]
[10s: A boat appears on the horizon, sailing slowly]
  • [Xs: 提示]:从第 X 秒开始,直到下一个时间戳;
  • [Xs-Ys: 提示]:从 X 秒到 Y 秒之间生效。

这种设计使得你可以在不更换图像的前提下,精确控制每一秒的画面变化。

🎚️ LoRA 使用技巧

  • 将 HunyuanVideo LoRA 文件放入 ComfyUI/models/loras 文件夹;
  • 使用 FramePackLoraSelect 节点将其加入工作流;
  • 推荐强度范围为 0.5 ~ 1.2
  • 若追求性能优化,可将 fuse_lora 设为 true;如需更高灵活性,则设为 false
  • 可链式连接多个 LoRA,获得叠加效果。

🧱 节点功能一览

🔹 FramePackSampler (F1)

这是核心视频生成节点,采用 F1 采样技术:

  • 输入参数
    • model:加载的 FramePack 模型
    • positive_timed_data:带时间戳的正向提示
    • negative:负向提示条件
    • start_latent / start_image_embeds:初始潜变量或图像嵌入
    • end_latent / end_image_embeds:(可选)用于过渡结束
    • initial_samples:(可选)用于视频到视频生成
    • 其他采样参数(步数、CFG、引导尺度等)

🔹 FramePackTimestampedTextEncode

对带有时间戳的文本提示进行编码处理:

  • 输入参数
    • clip:CLIP 文本模型
    • text:带时间戳的文本提示
    • negative_text:负向提示
    • total_second_length:视频总时长(秒)
    • latent_window_size:处理窗口大小
    • prompt_blend_sections:提示混合分段数量(用于平滑过渡)

🔹 FramePackLoraSelect

选择并配置 LoRA 模型参数:

  • 输入参数
    • lora:LoRA 模型路径
    • strength:应用强度(0.0–2.0)
    • fuse_lora:是否将 LoRA 权重融合进主模型
    • prev_lora:用于串联多个 LoRA

🔹 LoadFramePackModel / DownloadAndLoadFramePackModel

用于加载 FramePack 模型,支持多种精度模式(FP8、BF16 等)。

🎯 高级技巧推荐

  • 分辨率控制:使用 FramePackFindNearestBucket 自动匹配最合适的尺寸;
  • 内存优化:通过设置 gpu_memory_preservation 参数降低显存占用;
  • 提示混合:启用 prompt_blend_sections > 0 以实现自然过渡;
  • 多 LoRA 链接:组合多个 LoRA 模型,打造复杂视觉风格;
  • 空潜变量启动:从头生成视频时,使用 Empty Latent Image 节点初始化。

⚠️ 故障排查建议

问题解决方案
CUDA 内存不足降低分辨率、减少 latent_window_size 或增加 gpu_memory_preservation
LoRA 加载失败确保 LoRA 为 .safetensors 格式,并检查路径
视频伪影明显增加采样步数或调整 CFG/guidance_scale 参数

🙌 致谢说明

该项目是 kijai 开发的原始 ComfyUI-FramePackWrapper 的增强分支,新增了以下关键特性:

  • 引入 F1 采样器,显著提升视频时间连贯性;
  • 完善 LoRA 支持,提升定制化生成能力;
  • 实现时间戳提示机制,支持动态视频构建;
  • 对整个工作流程进行了多项优化与扩展。
© 版权声明

相关文章

暂无评论

none
暂无评论...