Lightricks隆重推出全新的开源、社区驱动的视频生成模型LTX Video，ComfyUI也在第一时间宣布支持该模型，LTX-Video 是一个仅20亿参数的基于DiT的视频生成模型，能够实时生成高质量视频。它可以在768x512分辨率下生成24 FPS的视频，生成速度比观看它们所需的时间还要快。该模型训练了一个大规模的多样化视频数据集，并能够生成具有真实感和多样化内容的高分辨率视频。
- 官网文档：https://www.lightricks.com/ltxv-documentation
- GitHub：https://github.com/Lightricks/LTX-Video
- ComfyUI插件：https://github.com/Lightricks/ComfyUI-LTXVideo
- 模型：https://huggingface.co/Lightricks/LTX-Video
- Demo：https://huggingface.co/spaces/Lightricks/LTX-Video-Playground
LTXV在ComfyUI中的亮点
- 实时生成速度：LTXV可以在仅4秒内生成5秒的24 FPS视频（768x512），LTXV设计为在不牺牲速度或内存效率的情况下保持精确性和视觉质量。它针对广泛可用的GPU（如RTX 4090）进行了优化，并利用bfloat16精度进行高效内存使用，同时不牺牲质量。
- 高视频质量：LTXV提供了无与伦比的速度，仅用20次扩散步骤在4秒内生成5秒的视频（121帧，768x512分辨率）。其扩散Transformer架构确保了平滑的运动并消除了常见的物体变形问题，提供了卓越的运动一致性。此外，该模型具有高度可扩展性，能够生成质量一致的长视频，使创作者能够推动叙事界限。
- 在ComfyUI中的原生支持：LTXV现在在最新的ComfyUI中得到了原生支持。Lightricks还为ComfyUI开发了定制节点，品牌为“LTXVideo”。这些节点可以直接在ComfyUI Manager中使用。只需搜索“LTXVideo”！
开始使用LTX Video
1. ComfyUI原生工作流程
您可以直接在ComfyUI中尝试并运行LTXV模型，性能略有提升。
请尝试以下步骤，并记住您的提示需要长且描述性：
- 更新到最新版本的ComfyUI
- 将ltx-video-2b-v0.9.safetensors下载到models/checkpoints文件夹
- 确保t5xxl_fp16在您的models/clip文件夹中
- 从示例工作流页面获取工作流程并开始创作！
2. 尝试LTXVideo定制节点
LTXVideo定制节点也可访问，由Lightricks持续更新，并具有额外的功能，如图像到视频。
文本到视频
图像到视频
要使用LTXVideo定制节点运行LTXV模型，请尝试以下步骤：
- 更新到最新版本的ComfyUI
- 在ComfyUI Manager中搜索“LTXVideo”并安装
- 将ltx-video-2b-v0.9.safetensors下载到models/checkpoints文件夹
- 将PixArt-XL-2-1024-MS模型克隆到models/text_encoders文件夹
- 下载文本到视频和图像到视频工作流程
评论0