Rhymes AI开源图生视频模型Allegro-TI2V：根据用户提供的提示和图像生成视频

Rhymes AI之前开源了视频生成模型Allegro，近期它们又推出了Allegro-TI2V。作为原始Allegro模型的迭代，Allegro-TI2V提供了前所未有的能力，将文本描述和图像转化为动态、高质量的视频内容。

• GitHub：https://github.com/rhymes-ai/Allegro
• 模型：https://huggingface.co/rhymes-ai/Allegro-TI2V

技术亮点

1. 上下文长度：79.2K tokens（88帧）：Allegro-TI2V支持长达79.2K tokens的上下文，相当于88帧的视频序列。这使得模型能够处理更长的视频片段，捕捉更复杂的叙事结构。
2. 高分辨率输出：720×1280像素：模型生成的视频分辨率为720×1280像素，确保了输出内容的清晰度和细节。
3. 帧率：15 FPS：默认情况下，模型以每秒15帧的速度生成视频，可选插值至30 FPS，提供更流畅的视觉体验。
4. 多种精度模式：FP32、BF16、FP16：支持多种精度模式，用户可以根据硬件条件和性能需求选择最适合的配置。在BF16模式下，模型仅使用9.3 GB的GPU内存，显著降低了资源消耗。
5. 紧凑而强大的架构：1.75亿参数的VideoVAE：用于编码和解码视频帧，捕捉视频的时间和空间特征。28亿参数的VideoDiT：用于生成高质量的视频内容，确保生成的视频细节丰富且符合用户提供的提示和初始图像。

两种开创性的生成模式

1. 后续视频生成：用户可以通过提供文本提示和初始帧图像来创建后续视频内容。这种模式使得视觉叙事能够无缝延续，特别适合需要连续场景的内容创作。
2. 中间视频生成：当给定第一帧和最后一帧图像时，模型可以生成中间视频内容，实现更复杂和可控的视频创作。这种模式适用于需要精确控制起始和结束状态的应用场景，如电影特效或动画制作。

开源与易用性

Allegro-TI2V在Apache 2.0许可证下发布，允许研究人员、开发人员和内容创作者访问、研究和基于该模型的开创性技术进行构建。为了帮助用户快速上手，Rhymes AI提供了全面的文档和资源。