DynamiCrafter

预计阅读时间1 分 221 views

DynamiCrafter是由来自香港中文大学、腾讯人工智能实验室、北京大学的研究团队推出的图生视频模型，目前已释出多款模型，近期推出了插值/循环视频生成模型，目前在ComfyUI上已经有多款插件可支持在本地运行DynamiCrafter模型，不过此模型对于显卡性能要求较高，英伟达4090生成16帧的视频都需要3分钟，显卡不好的朋友还是使用官方Demo进行试用。

Demo

插值/循环Demo

Replicate Demo

Colab Demo

ComfyUI-DynamiCrafterWrapper

目前该插件尚未在ComfyUI-Manager上架，需要大家手动进行安装，难点就在环境依赖的安装，因此如果你不着急使用，可以等待上架ComfyUI-Manager后再进行安装。

插件地址

手动安装

cd custom_nodes
git clone https://github.com/kijai/ComfyUI-DynamiCrafterWrapper.git
cd ComfyUI-DynamiCrafterWrapper
pip install -r requirements.txt
重启 ComfyUI

模型下载

需要将模型下载后放到ComfyUI/models/checkpoints文件夹下

模型	尺寸	显存 & 推理时间（A100，ddim 50steps）	地址
DynamiCrafter1024	576x1024	18.3GB & 75s (`perframe_ae=True`)	Hugging Face
DynamiCrafter512	320x512	12.8GB & 20s (`perframe_ae=True`)	Hugging Face
DynamiCrafter256	256x256	11.9GB & 10s (`perframe_ae=False`)	Hugging Face
DynamiCrafter512_interp	320x512	12.8GB & 20s (`perframe_ae=True`)	Hugging Face