来自香港科技大学、腾讯混元团队和清华大学的研究团队推出Follow-Your系列新框架Follow-Your-Emoji，这是一种基于扩散模型的肖像动画框架。简单来说，它可以根据一系列目标表情和动作标记（landmark sequences），将这些表情和动作转移到一个参考肖像上，并且保持这个肖像的身份特征不变。
- 项目主页：https://follow-your-emoji.github.io
- GitHub：https://github.com/mayuelala/FollowYourEmoji
- 模型地址：https://huggingface.co/YueMafighting/FollowYourEmoji
这项技术通过引入表情感知的标记和面部精细损失，显著提高了自由风格肖像动画的控制性和表现力。通过简单有效的渐进式生成策略，还扩展了模型在稳定长期动画方面的潜在应用价值。此外，为了支持这一领域的研究，研究者们还引入了一个名为EmojiBench的综合基准测试，包含多种风格的肖像图像、驱动视频和标记，用于验证“Follow-Your-Emoji”的优越性。
例如，你有一个静态的肖像图片，可能是一个真实的人、卡通人物、雕塑，甚至是一只动物。现在，你想让它动起来，表达出一系列夸张的表情和动作。使用“Follow-Your-Emoji”，你只需要提供一系列表情和动作的标记，这个系统就能让静态的肖像动起来，就像它真的在做出这些表情和动作一样。
主要功能和特点：
- 身份保持：在动画过程中，能够保持参考肖像的身份特征，不发生身份信息泄露。
- 表情传递：能够将目标表情准确地传递给参考肖像，并且可以处理夸张的表情，比如瞳孔的大幅度运动。
- 时间一致性：生成的动画在时间上保持连贯性，动作流畅自然。
- 细节表达：通过面部精细损失（facial fine-grained loss）提高了模型对微妙表情变化的捕捉能力。
工作原理：
- 使用MediaPipe提取3D关键点，并将这些关键点投影到2D平面上，形成表情感知的标记（expression-aware landmarks）。
- 在投影过程中，忽略面部轮廓，只保留面部特征，以便更好地关注表情变化。
- 利用面部和表情掩码（masks），计算预测结果与真实结果在这些掩码区域内的空间距离，以此来训练模型，使其更专注于面部和表情的生成。
具体应用场景：
- 在线会议：为远程工作提供更生动的虚拟形象。
- 虚拟角色：在游戏或动画制作中，快速生成具有丰富表情的角色。
- 增强现实（AR）：在AR应用中，为用户的虚拟形象添加逼真的表情和动作。
评论0