视频风格化方法StyleMaster：能够对视频进行艺术化生成和风格转换

香港科技大学和快手的研究人员推出视频风格化方法StyleMaster，它能够对视频进行艺术化生成和风格转换。StyleMaster通过结合全局和局部的风格表示，实现了对视频内容的风格化处理，同时保持了与文本内容的紧密对应和参考图像的风格相似性。

• 项目主页：https://zixuan-ye.github.io/stylemaster
• GitHub：https://github.com/KwaiVGI/StyleMaster

例如，我们有一段视频内容是“一个女孩在美丽的花园里读书”，我们希望将这个视频转换成梵高油画的风格。使用StyleMaster，我们可以生成一个具有梵高绘画风格纹理和色彩的视频，同时保持视频中女孩读书的核心内容不变。

主要功能和特点

1. 风格提取与保持：StyleMaster能够从参考图像中提取风格特征，并将其应用到视频内容中，同时避免内容泄露。
2. 全局与局部风格结合：通过全局风格投影和局部纹理特征的选择，StyleMaster能够捕捉图像的全局风格和细节纹理。
3. 模型幻觉数据集：利用模型幻觉属性生成具有绝对风格一致性的配对数据集，以增强对比学习的效果。
4. 运动适配器：通过在静态视频上训练的运动适配器，StyleMaster能够提升视频的动态质量和风格化程度。
5. 灰色瓷砖ControlNet：使用灰色瓷砖作为内容引导，StyleMaster能够更精确地控制视频内容，实现视频风格转换。

工作原理

StyleMaster的工作原理包括以下几个关键步骤：

1. 对比数据集构建：利用模型幻觉属性生成风格一致的配对图像，用于训练全局风格提取器。
2. 全局风格描述提取：通过MLP层将CLIP的图像嵌入转换为全局风格表示。
3. 局部和全局风格结合：选择与文本提示相似度低的局部补丁作为纹理特征，并与全局风格描述结合，形成完整的风格信息。
4. 运动适配器：在静态视频上训练，用于增强视频的动态范围和风格化效果。
5. 内容控制：使用灰色瓷砖ControlNet进行内容引导，以实现更精确的风格转换。