DynamiCrafter

预计阅读时间1 分 142 views

DynamiCrafter是由来自香港中文大学、腾讯人工智能实验室、北京大学的研究团队推出的图生视频模型,目前已释出多款模型,近期推出了插值/循环视频生成模型,目前在ComfyUI上已经有多款插件可支持在本地运行DynamiCrafter模型,不过此模型对于显卡性能要求较高,英伟达4090生成16帧的视频都需要3分钟,显卡不好的朋友还是使用官方Demo进行试用。

ComfyUI-DynamiCrafterWrapper

目前该插件尚未在ComfyUI-Manager上架,需要大家手动进行安装,难点就在环境依赖的安装,因此如果你不着急使用,可以等待上架ComfyUI-Manager后再进行安装。

手动安装

cd custom_nodes
git clone https://github.com/kijai/ComfyUI-DynamiCrafterWrapper.git
cd ComfyUI-DynamiCrafterWrapper
pip install -r requirements.txt
重启 ComfyUI

模型下载

需要将模型下载后放到ComfyUI/models/checkpoints文件夹下

模型尺寸显存 & 推理时间(A100,ddim 50steps)地址
DynamiCrafter1024576x102418.3GB & 75s (perframe_ae=True)Hugging Face
DynamiCrafter512320x51212.8GB & 20s (perframe_ae=True)Hugging Face
DynamiCrafter256256x25611.9GB & 10s (perframe_ae=False)Hugging Face
DynamiCrafter512_interp320x51212.8GB & 20s (perframe_ae=True)Hugging Face

如何使用

在插件的examples目录下,有开发者提供的工作流,拖入ComfyUI界面即可使用。也可参考开发者给出的示例来自行搭建工作流。

循环

插值

ComfyUI-DynamiCrafter

此插件目前已经上架ComfyUI-Manager,可直接安装,省去了手动安装环境依赖的麻烦。

如何使用

开发者同样提供了工作流,拖入ComfyUI界面即可使用。

插值

评论0

分享此文档

DynamiCrafter

或复制链接

文章目录
没有账号?注册  忘记密码?