AnimateDiff-Lightning

预计阅读时间1 分 104 views

AnimateDiff-Lightning是字节跳动基于AnimateDiff推出的一款极速的文本到视频生成模型,其视频生成速度比原版AnimateDiff快十倍以上。参考:字节跳动推出AnimateDiff-Lightning模型:根据文本描述生成视频,还可以视频转视频

此模型是从AnimateDiff SD1.5 v2中提炼而来,字节推出了包含1步、2步、4步和8步等不同蒸馏步骤的模型,其中1步模型则主要是供研究之用,大家在本地可使用2步、4步和8步模型。字节还贴心的推出了ComfyUI工作流,让大家直接导入即可使用。

推荐配置

在使用AnimateDiff-Lightning时,结合风格化基础模型能够获得最佳效果。字节特别推荐以下基础模型:

写实动漫/卡通
epiCRealismToonYou
Realistic VisionIMP
DreamShaperMistoon Anime
AbsoluteRealityDynaVision
MajicMix RealisticRCNZ Cartoon 3d
MajicMix Reverie

此外,您可以根据自己的需求探索不同的设置。在实际应用中,在2步模型上使用3个推理步骤可以产生更出色的结果。同时,某些基础模型在使用CFG(配置)时会呈现出更好的效果。

另外,字节还推荐大家使用Motion LoRAs,因为它们能产生更为强烈的动态效果。为避免生成视频中出现水印,建议将Motion LoRAs的强度设置在0.7至0.8之间。


如何在ComfyUI上使用AnimateDiff-Lightning?

文生视频

1、下载官方的工作流,直接拖入ComfyUI界面,此工作流主要使用两款插件,大家可以使用ComfyUI-Manager来安装插件,插件安装可参考:插件安装

2、下载AnimateDiff-Lightning模型,将其放入custom_nodes/ComfyUI-AnimateDiff-Evolved/models文件夹下

  • 确保加载与推理步数相对应的正确的Animatediff-Lightning模型
  • 您可以自由探索不同的基础模型
  • 确保使用与加载的模型相对应的正确的推理步数
  • 默认采样器是Euler,采用sgm_uniform调度器。
  • 默认CFG 1.0是最快的,并且会忽略负面提示。请随意探索其他CFG值。

3、如果想要使用Motion LoRAs增加动态效果,只需在增加一个动态lora加载器即可

视频转视频

1、下载官方的工作流,直接拖入ComfyUI界面,此工作流主要使用四款插件,大家可以使用ComfyUI-Manager来安装插件。

2、下载AnimateDiff-Lightning模型,将其放入custom_nodes/ComfyUI-AnimateDiff-Evolved/models文件夹下;下载ControlNet OpenPose 里的control_v11p_sd15_openpose.pth模型放到 /models/controlnet文件夹下

3、此工作流还需要使用两款模型dw-ll_ucoco.onnx和yolox_l.onnx,这两款模型需要放到ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts文件夹下,但具体位置还不太相同

  • dw-ll_ucoco.onnx需要放到ckpts\hr16\UnJIT-DWPose
  • yolox_l.onnx需要放到ckpts\yzd-v\DWPose

4、使用此工作流还有几个要点需要注意,那就是视频的尺寸与帧率

  • 视频不应该太长或分辨率太高,毕竟AnimateDiff-Lightning模型是基于SD1.5
  • 设置帧率以匹配您的输入视频,这样可以让音频与输出视频相匹配
  • DWPose将在其首次运行时自行下载模型
  • DWPose可能会在用户界面上卡住,但实际上仍在后台运行,请检查ComfyUI日志和您的输出文件夹
以上所需模型,如果无法直接下载,可从本人网盘里下载:

123网盘:https://www.123pan.com/s/I1oZVv-iwSGA.html 提取码:lllk

评论0

分享此文档

AnimateDiff-Lightning

或复制链接

文章目录
没有账号?注册  忘记密码?