FRESCO：将输入的视频转换成具有特定风格的新视频，同时保持视频中的语义内容和动作的连贯性

来自北京大学和南洋理工大学的研究团队推出FRESCO，这是一个用于视频转换的零样本（Zero-Shot）方法。简单来说，FRESCO能够根据文本提示，将输入的视频转换成具有特定风格的新视频，同时保持视频中的语义内容和动作的连贯性。

想象一下，你有一个普通的视频片段，想要将其转换成卡通风格，或者将视频中的人物变成某个特定的角色，FRESCO就能够帮你实现这样的转换，而不需要重新训练模型。

主要功能和特点：

• 零样本学习： 不需要针对特定任务训练模型，只需使用预训练的图像扩散模型即可。

• 空间-时间一致性： FRESCO通过引入帧内和帧间的空间-时间对应关系，确保转换后的视频在时间和空间上都保持一致性。

• 高质量视频生成： 通过综合考虑输入视频的特征，生成视觉上连贯且高质量的视频。

• 兼容性： 该框架与现有的图像模型辅助技术（如ControlNet和LoRA）兼容，提供了灵活的操控性。

工作原理：

FRESCO的工作原理分为两个主要部分：特征优化和注意力机制的调整。

1. 特征优化： FRESCO通过空间一致性损失和时间一致性损失来优化解码器层的特征，使得生成的视频帧与输入视频帧在时间和空间上保持一致。
2. 注意力机制调整： FRESCO引入了空间引导注意力、高效跨帧注意力和时间引导注意力，这些注意力机制能够更精确地指导模型关注有效的特征，从而提高视频的连贯性。

具体应用场景：

• 视频编辑和艺术渲染： 电影制作人或视频编辑者可以使用FRESCO来改变视频的风格或将视频中的人物和物体转换成特定的外观。

• 视频游戏内容创作： 游戏开发者可以利用FRESCO快速生成游戏内的视频片段，例如角色介绍或游戏剧情的动画。

• 社交媒体内容制作： 社交媒体创作者可以使用FRESCO来制作吸引人的视频内容，例如将日常生活片段转换成具有艺术风格的短片。

• 视频颜色化： FRESCO还可以用于给旧电影或黑白视频上色，增加视觉吸引力。

FRESCO是一个强大的视频转换工具，它能够在不需要额外训练的情况下，根据文本提示生成风格一致且高质量的视频内容。