首尔国立大学的研究人员提出了一种名为PERSE的创新方法，用于从参考肖像构建可动画化、个性化的生成头像，从单张肖像图像创建一个可动的个性化3D生成头像（avatar）。PERSE 的核心优势在于它能够在连续且解耦的潜在空间中进行面部属性编辑，从而实现对每个面部属性的精确控制，同时保留个体的身份特征。
例如，一个用户想要在虚拟世界中创建一个代表自己的3D头像，他提供了一张自己的肖像照片。使用PERSE，系统能够从这张照片生成一个3D头像，并允许用户调整头像的发型、眼睛颜色或其他面部特征。用户可以选择不同的发型选项，比如直发或卷发，或者改变眼睛的颜色。最终，用户可以在虚拟世界中使用这个个性化的3D头像，进行互动和探索。
主要功能
- 从单张肖像创建3D头像：用户只需提供一张肖像照片，PERSE就能构建一个3D头像。
- 面部属性编辑：在保持个人身份不变的情况下，用户可以编辑如发型、胡须、眼睛形状等面部属性。
- 生成可动视频：生成的3D头像不仅能够展示静态形象，还能制作成动态视频，展示各种表情和动作。
方法概述
PERSE 的工作流程主要包括以下几个步骤：
1、大规模合成 2D 视频数据集的生成：
-
研究人员首先生成了一个大规模的合成 2D 视频数据集，其中每个视频包含面部表情和视角的一致变化，并结合原始输入中特定面部属性的变化。 -
这些视频数据集为后续的模型训练提供了丰富的多样化样本，确保了模型能够学习到不同面部属性的变化规律。
2、新颖的 2D 视频生成流程：
-
为了生成具有面部属性编辑功能的高质量、逼真的 2D 视频，研究人员设计了一种新颖的流程。该流程不仅能够生成高质量的视频帧，还能确保视频中的面部属性变化是连贯且自然的。 -
通过这种方式，PERSE 能够在保持个体身份的同时，实现对面部表情、视角和其他面部属性的精细控制。
3、基于 3D 高斯溅射的个性化头像创建：
-
研究人员提出了一种基于 3D 高斯溅射（3D Gaussian Splatting）的个性化头像创建方法。该方法通过学习一个连续且解耦的潜在空间，使得用户可以直观地操控面部属性。 -
3D 高斯溅射技术允许模型在三维空间中表示面部结构，从而更好地捕捉面部的几何特征和纹理细节，确保生成的头像既真实又具有高度的可控性。
4、潜在空间正则化技术：
-
为了确保潜在空间中的平滑过渡，研究人员引入了一种潜在空间正则化技术。该技术通过使用插值的 2D 面部作为监督信号，确保在潜在空间中进行属性编辑时，生成的图像能够平滑过渡，避免出现突兀或不自然的变化。 -
这一技术使得 PERSE 在编辑面部属性时能够生成更加自然、连贯的结果，提升了用户体验。
关键特性
-
连续且解耦的潜在空间：PERSE 学习了一个连续且解耦的潜在空间，使得用户可以独立地控制每个面部属性（如表情、视角、眼睛、嘴巴等），而不会影响其他属性。这种解耦的设计使得面部属性编辑更加直观和灵活。 -
高质量的头像生成：通过结合 3D 高斯溅射技术和大规模合成数据集，PERSE 能够生成高质量、逼真的头像，确保生成的图像在视觉上与参考肖像高度一致，同时保留个体的身份特征。 -
平滑的属性插值：潜在空间正则化技术确保了属性编辑过程中生成的图像能够平滑过渡，避免了突兀的变化，使得编辑结果更加自然。 -
个性化和可动画化：PERSE 不仅能够生成静态的个性化头像，还可以将其应用于动画制作，实现实时的面部表情驱动，适用于虚拟主播、游戏角色等应用场景。
实验结果
研究人员通过大量实验验证了 PERSE 的有效性。实验结果表明，PERSE 能够生成具有插值属性的高质量头像，同时保留参考人物的身份特征。与之前的方法相比，PERSE 在面部属性编辑的精度和自然度方面表现出显著的优势。
应用场景
PERSE 的应用前景非常广泛，尤其适合以下领域：
-
虚拟主播：PERSE 可以用于创建高度个性化的虚拟主播，支持实时的表情驱动和面部属性编辑，提升虚拟主播的表现力和互动性。 -
游戏开发：在游戏角色创建中，PERSE 可以帮助开发者快速生成具有独特外貌的角色，并允许玩家自定义角色的面部特征，增强游戏的沉浸感。 -
影视制作：PERSE 可以用于电影和电视剧中的数字替身创建，帮助演员在不同的场景中展现多样化的表情和姿态，减少实际拍摄的成本和难度。 -
社交平台：PERSE 可以为用户提供个性化的头像生成工具，允许用户根据自己的喜好调整头像的外观，增强社交互动的乐趣。
评论0