马里兰大学学院公园分校的研究人员提出了一种名为LARP（Latent Aggregation and Refinement for Perception）的新型视频分词器，它专为自回归（AR）生成模型设计，用于提高视频生成任务的性能。LARP通过引入一种全新的整体化（holistic）标记方案，能够捕捉视频内容的全局和语义信息，而不仅仅局限于局部视觉信息。
- 项目主页：https://hywang66.github.io/larp
- GitHub：https://github.com/hywang66/LARP
- 模型：https://huggingface.co/hywang66
例如，我们想要生成一段关于篮球比赛的视频。传统的视频分词器可能会将视频分解成许多小的视觉片段（patches），然后逐个编码成离散的标记。但这种方法可能无法捕捉到整个场景的全局信息，比如球员之间的互动或者比赛的流畅性。而LARP通过使用整体化查询（holistic queries），能够更好地理解和生成包含这些全局信息的视频内容。
主要功能：
LARP的主要功能是将连续的视频信号转换成一系列离散的标记（tokens），这些标记可以被自回归模型用于生成高保真度的视频。
主要特点：
- 整体化标记方案：LARP不直接编码局部视觉片段，而是通过学习到的整体化查询来捕获视频的全局信息。
- 灵活性：支持任意数量的离散标记，可以根据任务需求进行适应性标记。
- 自回归生成优化：通过在训练时集成轻量级的AR变换器（AR transformer）作为先验模型，优化了离散标记空间以适应AR生成任务。
- 顺序确定：在训练过程中自动确定离散标记的顺序，使得在推理时能够更平滑、更准确地进行AR生成。
工作原理：
LARP的工作原理可以分为两个阶段：
- 标记器训练（Tokenizer Training）：在这个阶段，LARP使用一个轻量级的AR先验模型来训练标记器，学习一个对AR友好的潜在空间。
- AR生成训练（AR Generative Training）：在第二个阶段，AR生成模型在LARP的离散标记上进行训练，以合成高保真度的视频。
整体分词方案：
- 传统方法：传统的视频分词方法通常将局部视觉块直接编码为离散标记，这种方法虽然简单但往往只能捕捉到局部信息。
- LARP：LARP则使用一组学习的整体查询（global queries）从视觉内容中收集信息。这种方法不仅能够捕捉更多的全局和语义信息，还能提供更高的灵活性。
灵活的离散标记：
- LARP支持任意数量的离散标记，可以根据任务的具体需求进行自适应和高效的分词。这种灵活性使得LARP能够更好地适应不同的应用场景。
轻量级AR变压器：
- 为了使离散标记空间与下游AR生成任务对齐，LARP集成了一个轻量级的AR变压器作为训练时的先验模型。这个先验模型在离散潜在空间上预测下一个标记，从而帮助LARP学习到更有利于自回归生成的潜在表示。
逐步优化：
- 在训练过程中，先验模型逐步推动离散标记朝向最佳配置，确保在推理时实现更平滑和更准确的自回归生成。这种逐步优化的过程不仅提高了模型的训练效率，还增强了生成视频的质量。
技术优势
- 全局和语义表示：LARP能够捕捉更多的全局和语义信息，而不仅仅是局部块级别的信息，从而生成更丰富和连贯的视频内容。
- 灵活性：支持任意数量的离散标记，能够根据任务需求进行自适应和高效的分词。
- 优化的潜在空间：通过轻量级AR变压器的先验模型，LARP学习到的潜在空间不仅针对视频重建进行了优化，还以一种更有利于自回归生成的方式进行结构化。
- 顺序定义：在训练过程中为离散标记定义了一个顺序，确保在推理时实现更平滑和更准确的自回归生成。
实验结果
全面的实验表明，LARP在多个视频生成任务中表现出色。特别是在UCF101类条件视频生成基准测试中，LARP达到了最先进的FVD（Fréchet Video Distance）分数，显著优于现有的方法。
应用前景
LARP不仅增强了AR模型与视频的兼容性，还为构建统一的高保真多模态大语言模型（MLLMs）提供了新的可能性。这一技术的发展有望在视频生成、多模态交互和其他相关领域带来更多的创新和突破。
总之，LARP的提出标志着视频分词技术的一个重要进步，为未来的视频生成和多模态模型的发展奠定了坚实的基础。
评论0