Track4Gen：用于视频生成的空间感知视频生成器

Adob​​e 研究中心、韩国科学技术院和伦敦大学学院的研究人员推出Track4Gen，这是一个用于视频生成的空间感知视频生成器，它结合了视频扩散损失和跨帧点跟踪，提供了对扩散特征的空间监督，以增强视频生成的空间一致性。Track4Gen通过在现有视频生成架构的基础上进行最小化的修改，将视频生成和点跟踪任务合并到一个单一网络中，使用Stable Video Diffusion作为骨干网络，展示了将视频生成和点跟踪统一起来的可能性。这种方法有效地减少了视频中的外观漂移问题，生成了时间上稳定且视觉上连贯的视频。

• 项目主页：https://hyeonho99.github.io/track4gen/index.html

例如，我们有一个视频，其中包含一头牛在田野中的场景。使用传统的视频生成模型，可能会发现牛的角在视频的不同帧中逐渐变形或不一致，破坏了视频的视觉连贯性。而使用Track4Gen，可以确保牛的角在整个视频中保持一致，从而生成一个视觉上连贯且时间上稳定的视频。

主要功能和特点

1. 空间一致性增强：通过点跟踪提供的空间监督，Track4Gen能够生成在视觉上和时间上保持一致的视频内容。
2. 跨帧点跟踪：Track4Gen能够在视频帧之间跟踪点，提供更丰富的空间上下文信息，提高了视频生成的质量和自然度。
3. 最小化架构修改：Track4Gen在现有视频生成架构上进行了最小化的修改，使其能够进行点跟踪，提高了模型的适用性和灵活性。
4. 减少外观漂移：通过增强的空间监督，Track4Gen减少了视频中对象的外观随时间变化的问题。

工作原理

Track4Gen的工作原理包括以下几个关键步骤：

1. 视频扩散模型：Track4Gen基于Stable Video Diffusion模型，从高斯噪声开始，通过迭代去噪过程生成清晰的视频帧。
2. 点跟踪：在视频帧间进行点跟踪，提供额外的空间监督信号，增强模型对空间一致性的理解。
3. 特征细化：引入一个可训练的细化模块，将原始扩散特征投影到一个富含对应信息的特征空间中。
4. 联合损失函数：结合视频扩散损失和对应损失，通过最小化联合损失来训练Track4Gen，使其在生成视频时能够利用点跟踪信息。

具体应用场景

1. 视频内容创建：在电影制作和游戏开发中，Track4Gen可以用来生成具有高度视觉连贯性的视频内容。
2. 视频编辑和后期制作：Track4Gen可以用于视频编辑，改善视频质量，特别是在处理视频中的对象一致性问题时。
3. 监控视频分析：在安全监控领域，Track4Gen可以帮助跟踪视频中的对象，提高监控系统的准确性和可靠性。
4. 虚拟现实和增强现实：在VR和AR应用中，Track4Gen可以用来生成与用户互动一致的动态视频内容，提升用户体验。