人像动画技术提供了一种超低成本且高效的方式，用于创建富有表现力和逼真的角色动画和视频素材。用户只需提供一个静态人像图像和一个驱动表演视频，模型就可以使用这些输入生成视频，通过将驱动表情转移到人像中的主体。这可以大幅降低现有动作捕捉、角色动画和内容创作流程的复杂性。
X-Portrait 2：提升人像动画的表现力
字节跳动和清华大学的研究人员推出了X-Portal 2，这是他们在之前工作X-Portrait基础上的重大升级。X-Portal 2将人像动画的表现力提升到了一个全新的水平。
最先进的表情编码器：
- 微小表情编码：X-Portal 2构建了一个最先进的表情编码器模型，通过在大型数据集上训练，能够隐式地编码输入中的每一个微小表情。
- 生成扩散模型：该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。
高保真情感保留：
- 微妙和微小面部表情：X-Portal 2可以转移演员的微妙和微小面部表情，包括噘嘴、吐舌、鼓腮和皱眉等具有挑战性的表情。
- 情感保留：生成的视频中可以实现高保真的情感保留，确保动画角色的表达自然且真实。
外观和运动解耦：
- 强解耦：在训练表情编码器时，确保了外观和运动的强解耦，使得编码器只关注驱动视频中的表情相关信息。
- 跨风格和跨域表情转移：模型可以实现强跨风格和跨域的表情转移，涵盖真实人像和卡通图像。这使得模型高度适应广泛的应用场景，包括现实世界的讲故事、角色动画、虚拟代理和视觉效果。
与最先进方法的比较
与现有的最先进方法（X-Portrait和最近发布的Runyway Act-One）相比，X-Portal 2在以下几个方面表现出色：
- 快速头部运动：X-Portal 2可以忠实地转移快速头部运动，这是许多现有方法难以处理的问题。
- 微小表情变化：模型能够捕捉和转移微小的面部表情变化，这对于高质量的动画内容创作至关重要。
- 强烈个人情感：X-Portal 2能够保留和传递强烈的个人情感，使生成的动画角色更加生动和真实。
应用场景
X-Portal 2的高度适应性和表现力使其适用于多种应用场景，包括：
- 现实世界的讲故事：用于创建富有表现力的故事叙述视频。
- 角色动画：用于电影和动画制作中的角色动画。
- 虚拟代理：用于创建逼真的虚拟助理和虚拟人物。
- 视觉效果：用于增强电影和视频中的视觉效果。
X-Portal 2是人像动画技术的一个重要里程碑，它通过先进的表情编码器和生成扩散模型，实现了高质量、高保真的人像动画生成。与现有方法相比，X-Portal 2在处理快速头部运动、微小表情变化和强烈个人情感方面表现出色，为动画和内容创作提供了新的可能性。随着技术的不断发展，我们可以期待更多创新的应用和更高质量的动画内容。
评论0