AnimateDiff-Lightning

AnimateDiff-Lightning是字节跳动基于AnimateDiff推出的一款极速的文本到视频生成模型，其视频生成速度比原版AnimateDiff快十倍以上。参考：字节跳动推出AnimateDiff-Lightning模型：根据文本描述生成视频，还可以视频转视频

此模型是从AnimateDiff SD1.5 v2中提炼而来，字节推出了包含1步、2步、4步和8步等不同蒸馏步骤的模型，其中1步模型则主要是供研究之用，大家在本地可使用2步、4步和8步模型。字节还贴心的推出了ComfyUI工作流，让大家直接导入即可使用。

推荐配置

在使用AnimateDiff-Lightning时，结合风格化基础模型能够获得最佳效果。字节特别推荐以下基础模型：

写实	动漫/卡通
epiCRealism	ToonYou
Realistic Vision	IMP
DreamShaper	Mistoon Anime
AbsoluteReality	DynaVision
MajicMix Realistic	RCNZ Cartoon 3d
	MajicMix Reverie

此外，您可以根据自己的需求探索不同的设置。在实际应用中，在2步模型上使用3个推理步骤可以产生更出色的结果。同时，某些基础模型在使用CFG（配置）时会呈现出更好的效果。

另外，字节还推荐大家使用Motion LoRAs，因为它们能产生更为强烈的动态效果。为避免生成视频中出现水印，建议将Motion LoRAs的强度设置在0.7至0.8之间。

---

如何在ComfyUI上使用AnimateDiff-Lightning？

文生视频

1、下载官方的工作流，直接拖入ComfyUI界面，此工作流主要使用两款插件，大家可以使用ComfyUI-Manager来安装插件，插件安装可参考：插件安装

• ComfyUI-AnimateDiff-Evolved

• ComfyUI-VideoHelperSuite

2、下载AnimateDiff-Lightning模型，将其放入custom_nodes/ComfyUI-AnimateDiff-Evolved/models文件夹下

• 确保加载与推理步数相对应的正确的Animatediff-Lightning模型
• 您可以自由探索不同的基础模型
• 确保使用与加载的模型相对应的正确的推理步数
• 默认采样器是Euler，采用sgm_uniform调度器。
• 默认CFG 1.0是最快的，并且会忽略负面提示。请随意探索其他CFG值。

3、如果想要使用Motion LoRAs增加动态效果，只需在增加一个动态lora加载器即可

视频转视频

1、下载官方的工作流，直接拖入ComfyUI界面，此工作流主要使用四款插件，大家可以使用ComfyUI-Manager来安装插件。

• ComfyUI-AnimateDiff-Evolved
• ComfyUI-VideoHelperSuite
• ComfyUI-Advanced-ControlNet
• comfyui_controlnet_aux

2、下载AnimateDiff-Lightning模型，将其放入custom_nodes/ComfyUI-AnimateDiff-Evolved/models文件夹下；下载ControlNet OpenPose 里的control_v11p_sd15_openpose.pth模型放到 /models/controlnet文件夹下

3、此工作流还需要使用两款模型dw-ll_ucoco.onnx和yolox_l.onnx，这两款模型需要放到ComfyUI\custom_nodes\comfyui_controlnet_aux\ckpts文件夹下，但具体位置还不太相同

• dw-ll_ucoco.onnx需要放到ckpts\hr16\UnJIT-DWPose
• yolox_l.onnx需要放到ckpts\yzd-v\DWPose

4、使用此工作流还有几个要点需要注意，那就是视频的尺寸与帧率

• 视频不应该太长或分辨率太高，毕竟AnimateDiff-Lightning模型是基于SD1.5
• 设置帧率以匹配您的输入视频，这样可以让音频与输出视频相匹配
• DWPose将在其首次运行时自行下载模型
• DWPose可能会在用户界面上卡住，但实际上仍在后台运行，请检查ComfyUI日志和您的输出文件夹