之前介绍过的《Lightricks推出开源视频生成模型LTX Video》,今天LTX-Video迎来了它的首次重要更新——0.9.1版本。作为生成式AI视频模型的最新迭代,LTX-Video 0.9.1带来了显著的功能改进和用户体验优化,旨在让视频创作过程更加流畅、高效,并且成果更令人满意。
核心功能增强
1. 动态效果的全面提升 通过采用先进的训练算法和数据集优化,无论是文本到视频(Text-to-Video, t2v)还是图像到视频(Image-to-Video, i2v)的转换,新版本均能提供更为生动逼真的动态表现,为创作者带来更多的灵感和可能性。
2. 视频质量的飞跃 新版解决了之前版本中偶尔出现的闪烁和抖动问题,确保了视频输出的稳定性和清晰度。这意味着您的作品将展现出更高的专业水准,细节更加丰富细腻。
3. 图像转视频的优化 在i2v工作流程方面,我们进行了针对性的调整,使得AI生成的静态图像能够更加自然地融入视频序列,过渡平滑,增强了整体观看体验。
技术特性升级
对于追求极致性能和技术细节的用户,LTX-Video 0.9.1同样有诸多亮点:
- 性能优化:通过对i2v和t2v流程的深度学习模型进行额外训练,以及对输入数据的精细化处理,我们实现了显著的效率提升,缩短了创作周期。
- 全新VAE解码器:引入了最新的变分自编码器(VAE)技术,有效避免了“闪烁纹理”和“运动抖动”等常见问题,保证了视频内容的连贯性和视觉一致性。
- 内置STG/PAG支持:新增的时间轴特效(STG)和页面动画(PAG)支持,使得复杂场景下的过渡效果更加自然,提升了视频的叙事能力。
-
图像降解系统集成:针对i2v流程中的特定挑战,我们开发了一套专门的图像降解系统,它可以帮助改善AI生成图像在视频化过程中的表现,确保每一帧都达到最佳效果。
如何使用?
虽然ComfyUI已经原生支持LTX Video模型,但LTX-Video 0.9.1使用了新的VAE,目前仅支持Lightricks的官方节点,你需要通过 ComfyUI-Manager 来安装此插件,安装后将官方的工作流拖入ComfyUI即可使用。
模型
- 从Hugging Face下载ltx-video-2b-v0.9.1.safetensors,并将其放置在models/checkpoints目录下
- 安装一个t5文本编码器,例如google_t5-v1_1-xxl_encoderonly。您可以使用ComfyUI模型管理器进行安装
示例工作流程
请注意,要运行示例工作流程,您需要安装一些额外的自定义节点,如ComfyUI-VideoHelperSuite等。您可以通过在ComfyUI管理器中按下“安装缺失的自定义节点”按钮来完成此操作。
图生视频(下载工作流程)
文生视频(下载工作流程)
评论0