上海科技大学信息科学技术学院和中国科学院自动化研究所的研究人员推出了一种基于扩散模型的无需反转的人像风格化框架ZePo，它能够在无需任何模型微调的情况下，仅需四个采样步骤就能实现内容和风格特征的融合，快速生成具有特定艺术风格的肖像图像。简单来说，ZePo可以让用户在几秒钟内，将一张普通的人像照片转换成具有特定画风的作品，例如将照片转换成类似梵高《星夜》风格的画作。
主要功能：
- 零样本（Zero-Shot）风格化：无需针对特定风格进行训练或微调。
- 快速采样：只需极少的采样步骤即可生成风格化肖像。
- 高效率：在保持图像质量的同时，大幅缩短了生成时间。
主要特点：
- 无需模型微调：与需要大量样本进行微调的传统方法不同，ZePo直接使用预训练的模型。
- 快速生成：通过优化的采样过程，ZePo能够在短时间内生成高质量的风格化图像。
- 保持内容完整性：在风格化过程中，原始图像的内容和细节得到很好的保留。
工作原理： ZePo的工作原理主要基于以下几个关键技术：
- Latent Consistency Models (LCMs)：利用预训练的模型快速提取图像的一致性特征。
- Style Enhancement Attention Control (SEAC)：一种新颖的注意力控制机制，通过合并内容和风格图像的一致性特征，并使用风格增强系数来调节图像风格化的强度。
- Feature Merging：通过合并冗余特征来减少计算负载，提高注意力控制的计算速度。
具体应用场景：
- 艺术创作：艺术家或设计师可以使用ZePo快速将他们的作品转换成不同的艺术风格。
- 社交媒体：用户可以上传自己的照片，通过ZePo生成个性化的风格化肖像，用于社交媒体分享。
- 游戏和电影制作：在游戏或电影的前期制作中，ZePo可以快速生成具有特定风格的场景概念图。
评论0