在8GB显存上运行HunyuanVideo
随着ComfyUI v0.3.10版本的发布,ComfyUI官方宣布现在可以在仅有8GB显存的显卡上运行HunyuanVideo模型了。通过视频VAE的时间分块支持(通过VAE解码(分块)或VAE编码(分块)节点实现),大幅降低了运行这一前沿视频模型的显存需求(之前需要32GB)。
什么是时间分块(Temporal Tiling)
时间分块与空间分块不同;空间分块较为简单,因为映射关系非常清晰,尤其是在潜空间和像素空间之间。对于8倍的空间压缩,映射关系如下:1x1潜空间 → 8x8像素,2x1潜空间 → 16x8像素,4x4潜空间 → 32x32像素,依此类推。而在时间维度上,对于4倍压缩:1潜空间 → 1帧,2潜空间 → 5帧,3潜空间 → 9帧。其工作原理是,每个时间潜空间维度都会扩展到4倍,除了最后一个。
尝试时间分块以降低显存消耗
要启用时间分块配置,你需要:
- 将ComfyUI或ComfyUI Desktop更新至最新版本
- 使用更新后的示例工作流此处
- 在“VAE解码(分块)(VAE Decode(Tiled))”节点中,如果你的显存少于32GB,尝试降低tile_size、overlap、temporal_size或temporal_overlap的值
- 如果仍然显存不足或希望加速推理,记得在“加载扩散模型”节点中选择fp8 weight_dtype
如果你是Hunyuan Video的新手,可以查看之前介绍的HunyuanVideo支持博客,了解如何入门。
原生支持PixArt系列模型
此外,还新增了对PixArt模型的支持。PixArt是一系列用于生成图像的高质量扩散模型。新增的支持包括Alpha和Sigma模型,它们提供不同的分辨率(1024x1024和512x512)和格式,并附带预训练模型。
尝试PixArt原生工作流
1、将ComfyUI更新至最新版本
2、下载以下模型文件:
- Alpha权重 PixArt-XL-2-1024-MS 或 Sigma权重 PixArt-Sigma-XL-2-1024-MS → 放入
ComfyUI/models/diffusion_models
(你也可以切换到其他PixArt Alpha/Sigma权重) - 从这里下载任意T5XXL模型 → 放入
ComfyUI/models/text_encoders
- 下载 SD1.5 VAE 用于Alpha,SDXL VAE 用于Sigma → 放入
ComfyUI/models/vae
3、尝试示例工作流:PixArtSampleWorkflow.json
评论0