ComfyUI-ImageMotionGuider :通过智能镜像技术从静态图像生成平滑的运动序列,为Hunyuan Video集成而设计

ComfyUI-ImageMotionGuider 是一个自定义的ComfyUI节点,通过智能镜像技术从静态图像生成平滑的运动序列。其主要目的是通过潜在空间指导影响AI视频生成模型的行为,特别是为Hunyuan Video集成而设计。

安装

1、通过 ComfyUI Manager
  • 在 ComfyUI Manager 中搜索此插件。
  • 点击安装后重启 ComfyUI 即可看到主题效果。

2、手动安装
  • 将此仓库克隆到你的 ComfyUI/custom_nodes 目录:
cd ComfyUI/custom_nodes 
git clone https://github.com/ShmuelRonen/ComfyUI-ImageMotionGuider.git

功能

  • 双向运动:控制水平移动(-150到150像素)
  • 可变帧生成:生成2到150帧的序列
  • 动态缩放:可选缩放效果(0.0到0.5)
  • 无缝过渡:智能镜像实现连续运动
  • VAE集成:直接兼容VAE编码器
  • Hunyuan Video支持:专为潜在空间指导设计

参数

参数 类型 范围 默认值 描述
image IMAGE - - 输入图像
move_range_x INT -150到150 0 运动范围(正=右,负=左)
frame_num INT 2到150 10 生成的帧数
zoom FLOAT 0.0到0.5 0.0 缩放强度(可选)

与Hunyuan Video配合使用

该节点专门用于增强Hunyuan Video生成,具体功能包括:

运动生成

  • 创建具有一致方向运动的帧序列
  • 保持原始图像方向
  • 确保帧之间的平滑过渡

潜在空间集成

  • 兼容VAE编码器
  • 通过潜在空间提供运动指导
  • 影响视频生成行为

方向控制

  • 正值:向右移动的序列
  • 负值:向左移动的序列
  • 两者均保持原始图像方向

技术实现

运动算法

  • 保持原始图像方向
  • 创建镜像副本以实现无缝过渡
  • 平滑处理方向变化
  • 结合运动与可选缩放

核心特性

  • 基于PyTorch的张量操作
  • 支持CUDA加速
  • 高效内存管理
  • 智能边缘处理

使用技巧

图像选择

  • 使用具有平衡水平构图的图像
  • 避免边缘有显著特征
  • 推荐使用高分辨率图像

参数设置

1、运动范围(-150到150)

  • 测试时从±50开始
  • 较大值用于更显著的运动
  • 设置时考虑图像内容

2、帧数(2-150)

  • 10-20帧适合测试
  • 更高帧数可实现更平滑的运动
  • 平衡平滑度与处理时间

3、缩放(0.0-0.5)

  • 谨慎使用
  • 增强运动效果
  • 与运动结合以实现动态效果

Hunyuan集成

工作流设置

[图像加载器] → [ImageMotionGuider] → [VAE编码器] → [Hunyuan Video]

最佳实践

  • 调整Hunyuan中的去噪级别
  • 考虑帧数的影响
  • 测试不同的运动范围
0

评论0

没有账号?注册  忘记密码?