南洋理工大学、商汤科技和上海人工智能实验室的研究人员推出视频编辑方法I2VEdit，它利用了图像到视频的扩散模型，通过用户编辑视频的第一帧来引导整个视频的生成。这种方法的创新之处在于，它能够根据用户对第一帧所做的修改，自动生成与修改后的第一帧保持一致的视频内容，同时在生成过程中保持原有视频的视觉和运动连贯性。
例如，你是一名剪辑师，需要将视频中的一个场景的风格从白天变为夜晚。你可以使用图像编辑工具仅对视频的第一帧进行风格修改，然后I2VEdit将自动将这种风格应用到视频的其余部分，确保整个视频在风格上的一致性，同时保持人物和物体的运动自然流畅。这样，你就能够在不手动调整每一帧的情况下，快速完成复杂的视频编辑任务。
主要功能和特点：
- 第一帧引导：用户可以使用任何图像编辑工具对视频的第一帧进行编辑，I2VEdit会根据这些编辑自动生成整个视频。
- 视觉和运动一致性：该方法能够保持视频内容的视觉外观和运动轨迹与原视频一致，即使在进行了局部或全局编辑之后。
- 适应性：I2VEdit能够根据编辑的程度，自适应地调整生成视频的细节，以保持与原视频的连贯性。
- 高质量输出：通过精细的注意力匹配和运动提取，I2VEdit能够生成高质量、时间上连贯的视频输出。
工作原理：
I2VEdit的工作流程主要分为两个阶段：粗糙运动提取和外观细化。
- 粗糙运动提取：通过训练一个运动LoRA（低秩适应），捕捉原视频中的粗糙运动模式，并使用跨间隔交叉注意力来减轻自动回归策略在长视频生成中的性能下降。
- 外观细化：在推理阶段，通过精细的注意力匹配进一步增强与原视频的运动和外观一致性。这包括空间注意力差异图的计算和多阶段时间注意力注入。
具体应用场景：
- 视频内容创作：视频制作者可以使用I2VEdit快速将图像编辑的想法应用到视频制作中，提高创作效率。
- 视频后期处理：在视频后期制作中，I2VEdit可以用于调整视频内容，如替换或修改视频中的特定对象，而不影响其他内容。
- 风格迁移和特效添加：I2VEdit可以用于将一种风格或特效应用到整个视频，而保持视频的其他部分不变。
评论0