ComfyUI-ImageMotionGuider 是一个自定义的ComfyUI节点,通过智能镜像技术从静态图像生成平滑的运动序列。其主要目的是通过潜在空间指导影响AI视频生成模型的行为,特别是为Hunyuan Video集成而设计。
安装
1、通过 ComfyUI Manager
- 在 ComfyUI Manager 中搜索此插件。
- 点击安装后重启 ComfyUI 即可看到主题效果。
功能
- 双向运动:控制水平移动(-150到150像素)
- 可变帧生成:生成2到150帧的序列
- 动态缩放:可选缩放效果(0.0到0.5)
- 无缝过渡:智能镜像实现连续运动
- VAE集成:直接兼容VAE编码器
- Hunyuan Video支持:专为潜在空间指导设计
参数
参数 | 类型 | 范围 | 默认值 | 描述 |
---|---|---|---|---|
image | IMAGE | - | - | 输入图像 |
move_range_x | INT | -150到150 | 0 | 运动范围(正=右,负=左) |
frame_num | INT | 2到150 | 10 | 生成的帧数 |
zoom | FLOAT | 0.0到0.5 | 0.0 | 缩放强度(可选) |
与Hunyuan Video配合使用
该节点专门用于增强Hunyuan Video生成,具体功能包括:
运动生成:
- 创建具有一致方向运动的帧序列
- 保持原始图像方向
- 确保帧之间的平滑过渡
潜在空间集成:
- 兼容VAE编码器
- 通过潜在空间提供运动指导
- 影响视频生成行为
方向控制:
- 正值:向右移动的序列
- 负值:向左移动的序列
- 两者均保持原始图像方向
技术实现
运动算法:
- 保持原始图像方向
- 创建镜像副本以实现无缝过渡
- 平滑处理方向变化
- 结合运动与可选缩放
核心特性:
- 基于PyTorch的张量操作
- 支持CUDA加速
- 高效内存管理
- 智能边缘处理
使用技巧
图像选择:
- 使用具有平衡水平构图的图像
- 避免边缘有显著特征
- 推荐使用高分辨率图像
参数设置:
1、运动范围(-150到150):
- 测试时从±50开始
- 较大值用于更显著的运动
- 设置时考虑图像内容
2、帧数(2-150):
- 10-20帧适合测试
- 更高帧数可实现更平滑的运动
- 平衡平滑度与处理时间
3、缩放(0.0-0.5):
- 谨慎使用
- 增强运动效果
- 与运动结合以实现动态效果
Hunyuan集成:
工作流设置:
[图像加载器] → [ImageMotionGuider] → [VAE编码器] → [Hunyuan Video]
最佳实践:
- 调整Hunyuan中的去噪级别
- 考虑帧数的影响
- 测试不同的运动范围
评论0