腾讯混元、香港科技大学、中国科学技术大学和清华大学的研究人员推出新型视频扩展方法Follow-Your-Canvas，它能够将现有视频的内容扩展到更高的分辨率，并在扩展区域生成丰富的新内容。这种方法特别适用于需要将视频内容扩展到更大画布区域的场景，例如调整视频的宽高比以适应不同用户的智能手机屏幕。
例如，你是一名视频编辑，需要将一个分辨率为1080p的视频扩展到4K分辨率，以适应大屏幕播放的需求。使用"Follow-Your-Canvas"，你可以指定要扩展的视频区域，系统会在这些区域生成与原视频风格一致的新内容，最终输出一个4K分辨率的视频，同时保持原有视频的质量和视觉效果。
主要功能：
- 将视频内容扩展到更高的分辨率，例如从4K扩展到8K或更高。
- 在扩展区域生成与原视频风格和内容协调一致的新内容。
主要特点：
- 高分辨率输出：能够处理高达16K分辨率的视频输出。
- 内容扩展：不仅扩展视频的边界，还能在扩展区域生成与原视频协调的新内容。
- 空间和时间一致性：生成的视频在空间布局和时间变化上保持一致性。
- 高效的内存使用：通过分布式处理，有效利用GPU内存，处理任意大小和分辨率的视频。
工作原理：
- 空间窗口分割：将视频分割成多个空间窗口，并在每个窗口内独立进行内容生成。
- 布局编码器（LE）：提取源视频的全局布局信息，并通过交叉注意力机制将其注入到每个窗口的生成过程中。
- 相对区域嵌入（RRE）：提供源视频与目标窗口（即要扩展的区域）之间的相对位置关系，确保生成的内容与原视频布局协调。
- 分布式生成：在多个GPU上并行处理各个窗口的内容生成，最后将生成的窗口无缝合并成最终的视频。
具体应用场景：
- 视频编辑和增强：在视频后期制作中，用于扩展视频画面，增加视觉内容，提高观看体验。
- 社交媒体内容创作：用户可以将自己的视频内容扩展到不同的分辨率，以适应不同的发布平台。
- 虚拟现实和游戏：在虚拟环境或游戏中生成更丰富的视觉内容，提升沉浸感。
评论0