中国科学技术大学和香港理工大学的研究人员提出了一种名为One Shot, One Talk的新颖流程，旨在解决从单张图像构建全身说话虚拟形象的挑战。该方法解决了两个关键问题：1）复杂的动态建模；2）对新姿势和表情的泛化。例如，你手中有一张某个名人的静态照片，使用这项技术，你可以创建一个虚拟形象，这个形象不仅能够模仿该名人的外观，还能根据文本指令做出相应的面部表情和身体动作，实现实时的对话和交流。
One Shot, One Talk的主要技术和贡献：
1. 利用姿势引导图像到视频扩散模型生成伪标签
为了实现对新姿势和表情的无缝泛化，研究人员利用了最近的姿势引导图像到视频扩散模型（Pose-Guided Image-to-Video Diffusion Model）。这一模型可以从单张图像生成不完美的视频帧作为伪标签。这些伪标签虽然存在一定的不一致性和噪声，但为后续的动态建模提供了重要的参考。
2. 引入紧密耦合的3DGS-网格混合虚拟形象表示
为了克服由不一致和噪声伪视频带来的动态建模挑战，One Shot, One Talk引入了一种紧密耦合的3DGS-网格混合虚拟形象表示。这种表示方法结合了3D几何结构（3D Geometry Structure, 3DGS）和网格模型的优势，确保了虚拟形象在不同姿势和表情下的逼真度和一致性。
- 3D几何结构：3DGS提供了虚拟形象的骨架和几何结构，确保了其在不同姿态下的稳定性和合理性。
- 网格模型：网格模型则负责捕捉虚拟形象的表面细节和纹理，使得生成的图像更加逼真和细腻。
3. 应用关键正则化方法缓解不完美标签的影响
为了进一步缓解不完美伪标签引起的不一致性，研究人员应用了几种关键的正则化方法：
- 姿势一致性正则化：通过约束生成的虚拟形象在不同帧之间的姿势一致性，确保其动作流畅且自然。
- 表情平滑正则化：通过对表情变化进行平滑处理，避免了因伪标签中的噪声导致的表情突变，使得虚拟形象的表情更加自然和连贯。
- 几何稳定性正则化：通过保持虚拟形象的几何结构在不同帧之间的稳定性，防止了因伪标签中的不一致性导致的几何变形。
主要功能
- 单图像全身动态建模：从单张图片中重建一个包含身体、手部和面部动态的全身虚拟形象。
- 精确控制手势和表情：允许用户对虚拟形象的手势和面部表情进行精确控制。
- 真实感渲染：生成的虚拟形象能够进行逼真的渲染，包括动态的服装、发型和其他复杂区域。
- 自然动画生成：虚拟形象能够根据输入的文本或语音指令自然地进行动画化，模拟真实的人类行为。
主要特点
- 单图像输入：只需要单张图片作为输入，即可创建虚拟形象。
- 动态建模挑战：通过结合单张输入图片和不完美的伪视频帧（由预训练的扩散模型生成）来训练混合网格-3DGS（高斯）化身表示，解决了动态建模的挑战。
- 一般化到新手势和表情：利用大规模TED手势数据集构建全面的全身运动空间，以支持多样化的手势和面部表情。
- 3DGS-网格混合化身表示：结合了3DGS的表达能力和网格模型的几何先验，提高了建模的准确性和稳定性。
工作原理
- 伪标签生成：使用预训练的全身视频扩散模型和3D面部动画模型，根据TED手势数据集中的运动序列生成目标人物执行不同手势和表情的视频序列。
- 3DGS-网格混合化身表示：结合单输入图像和伪视频，训练一个混合网格-3DGS化身表示，通过几个关键的正则化技术来减轻不完美标签引起的不一致性。
- 关键正则化技术：包括网格相关的约束（如法线一致性损失、掩码损失等），以及基于感知的伪标签损失，确保从输入图像和伪视频中有效提取正确信息。
实验结果与性能提升
广泛的实验表明，One Shot, One Talk能够仅从单张图像创建逼真、精确可动画化且富有表现力的全身说话虚拟形象。具体来说：
- 逼真度：生成的虚拟形象在外观上非常逼真，能够准确反映输入图像中的人物特征。
- 精确可动画化：虚拟形象可以轻松地进行各种复杂的姿势和表情变化，表现出色的动作流畅性和自然性。
- 表现力：虚拟形象不仅能够在静态图像中保持高保真度，还能在动态视频中展现出丰富的表情和情感，增强了其表现力。
应用前景
One Shot, One Talk为构建逼真且可动画化的虚拟形象提供了一个强大的工具，具有广泛的应用前景：
- 虚拟主播：帮助创建个性化的虚拟主播，用于直播、广告和娱乐等领域。
- 虚拟助手：开发更加智能和互动的虚拟助手，提升用户体验和交互效果。
- 内容创作：为电影、游戏和动画制作提供高效的内容创作工具，加速创意实现过程。
- 远程交流：在远程会议和社交平台中，用户可以通过虚拟形象进行更加生动和真实的交流。
评论0