基础篇
DynamiCrafter
DynamiCrafter是由来自香港中文大学、腾讯人工智能实验室、北京大学的研究团队推出的图生视频模型,目前已释出多款模型,近期推出了插值/循环视频生成模型,目前在ComfyUI上已经有多款插件可支持在本地运行DynamiCrafter模型,不过此模型对于显卡性能要求较高,英伟达4090生成16帧的视频都需要3分钟,显卡不好的朋友还是使用官方Demo进行试用。
ComfyUI-DynamiCrafterWrapper
目前该插件尚未在ComfyUI-Manager上架,需要大家手动进行安装,难点就在环境依赖的安装,因此如果你不着急使用,可以等待上架ComfyUI-Manager后再进行安装。
手动安装
cd custom_nodes
git clone https://github.com/kijai/ComfyUI-DynamiCrafterWrapper.git
cd ComfyUI-DynamiCrafterWrapper
pip install -r requirements.txt
重启 ComfyUI
模型下载
需要将模型下载后放到ComfyUI/models/checkpoints文件夹下
模型 | 尺寸 | 显存 & 推理时间(A100,ddim 50steps) | 地址 |
DynamiCrafter1024 | 576x1024 | 18.3GB & 75s (perframe_ae=True ) |
Hugging Face |
DynamiCrafter512 | 320x512 | 12.8GB & 20s (perframe_ae=True ) |
Hugging Face |
DynamiCrafter256 | 256x256 | 11.9GB & 10s (perframe_ae=False ) |
Hugging Face |
DynamiCrafter512_interp | 320x512 | 12.8GB & 20s (perframe_ae=True ) |
Hugging Face |
如何使用
在插件的examples目录下,有开发者提供的工作流,拖入ComfyUI界面即可使用。也可参考开发者给出的示例来自行搭建工作流。
循环

插值

ComfyUI-DynamiCrafter
此插件目前已经上架ComfyUI-Manager,可直接安装,省去了手动安装环境依赖的麻烦。

如何使用
开发者同样提供了工作流,拖入ComfyUI界面即可使用。

插值
