上海交通大学和vivo的研究人员提出了OSDFace，这是一种新颖的单步扩散模型，旨在解决传统多步推理扩散模型在人脸修复中的计算密集问题，并生成和谐、逼真且与主体身份一致的人脸图像。OSDFace通过引入视觉表示嵌入器（VRE）、面部身份损失和生成对抗网络（GAN）引导模型，显著提升了人脸修复的效果。
例如，我们有一张由于压缩、噪声或模糊等原因导致质量下降的人脸照片。使用OSDFace模型，我们可以从这张低质量的输入图像中生成一张看起来更清晰、细节更丰富、且更接近原始面貌的高质量人脸图像。
主要功能和特点
- 一次性扩散模型：OSDFace能够在单步中完成面部恢复，与传统的多步扩散模型相比，大大减少了计算成本和推理时间。
- 视觉表示嵌入器（VRE）：通过VRE，模型能够更好地捕获输入面部的先验信息，生成视觉提示，以指导扩散模型生成更真实的面部图像。
- 面部身份损失：引入面部识别技术中的面部身份损失，以确保生成的面部图像与原始图像在身份特征上保持一致。
- 生成对抗网络（GAN）：作为引导模型，GAN鼓励恢复的面部图像与真实图像在分布上的对齐，提高了面部恢复的真实性。
工作原理
OSDFace的工作原理包括以下几个关键步骤：
- 视觉表示嵌入器（VRE）：VRE包含一个视觉分词器和一个VQ嵌入器，用于从低质量输入面部中提取丰富的面部信息，并生成视觉提示。
- 一次性扩散（OSD）模型：利用潜在扩散模型的框架，OSDFace在潜在空间中进行一次去噪步骤，以预测噪声并重建高质量的潜在向量。
- 面部身份损失：通过预训练的面部识别模型计算生成面部和目标高质量面部之间的特征相似性，作为损失函数来指导模型训练。
- 生成对抗网络（GAN）：使用GAN的判别器作为引导模型，鼓励生成的面部图像与真实图像在分布上的对齐。
实验结果与性能提升
实验结果表明，OSDFace在视觉质量和定量指标方面均超越了当前最先进（SOTA）方法，生成了高保真、自然且具有高身份一致性的人脸图像。具体来说：
- 视觉质量：OSDFace生成的修复图像在视觉质量上表现出色，能够准确还原人脸的细节和结构，同时保持自然的外观。
- 定量指标：通过多种定量评估指标（如PSNR、SSIM、FID等），OSDFace在多个数据集上均取得了优异的成绩，验证了其在人脸修复任务中的优越性。
- 身份一致性：OSDFace在面部身份一致性方面表现尤为突出，修复后的图像与输入图像在身份特征上高度一致，避免了常见的身份漂移问题。
- 效率提升：作为单步扩散模型，OSDFace显著减少了推理时间，使得其在实际应用中更加高效和实用。
评论0