来自腾讯混元团队、中山大学、香港科技大学的研究人员推出Follow-Your系列新框架Follow-Your-Pose v2，这是去年发布的Follow-Your-Pose升级版，这是一个用于于角色图像动画的框架，可以根据一系列的动作信号（比如视频、深度图或姿势序列）生成动画视频。这个系统特别适用于需要对角色姿势进行精确控制的场景，比如在社交媒体平台上的自动广告和内容创作。例如，你有一个静态的角色图片，你想让这个角色动起来，根据一组动作或者姿势序列变成一个视频。这就是"Follow-Your-Pose v2"做的事情。这个系统不仅能让角色动起来，还能确保在动画过程中角色的外观保持一致，无论是前景还是背景。
- 论文：https://arxiv.org/abs/2406.03035
- Follow-Your-Pose项目主页：https://follow-your-pose.github.io
Follow-Your-Pose v2能够利用互联网上易于获取的嘈杂开源视频进行训练。设计了多条件引导器来应对背景稳定性、多角色生成中的身体遮挡以及角色外观一致性的挑战。此外，为了填补多角色姿势动画公平评估的空白，开发人员提出了一个新的基准数据集，包含大约4000帧。广泛的实验表明，Follow-Your-Pose v2在两个数据集上的7项指标上，相比于最先进方法平均超出35%的优势。同时，定性评估显示，在涉及复杂背景和多角色身体遮挡等场景中生成的视频质量有了显著提升，这进一步证明了Follow-Your-Pose v2的优越性。
主要功能和特点：
- 多条件引导：系统使用多种条件（比如光流、深度信息和参考姿势）来引导动画生成，这样可以更好地处理复杂场景，比如多角色动画和身体遮挡。
- 鲁棒性：即使在互联网上可以找到的带噪声的开源视频上训练，模型也能表现出色。
- 背景稳定性：通过光流引导器来控制背景的稳定性，避免在动画中出现不自然的背景变化。
- 身体遮挡处理：使用深度引导器来处理多角色动画中的身体遮挡问题，帮助模型区分前景和背景。
- 外观学习：参考姿势引导器帮助模型更好地学习角色的外观。
工作原理：
- 光流引导器：通过分析连续帧之间的像素运动来保持背景的稳定性。
- 深度引导器：利用深度图来提供角色之间的空间关系信息，帮助模型在多角色场景中正确渲染遮挡部分。
- 参考姿势引导器：使用参考姿势作为先验信息，帮助模型在生成动画时更准确地定位角色。
具体应用场景：
- 社交媒体内容创作：为社交媒体平台生成吸引人的角色动画视频。
- 广告行业：自动生成与品牌相关的角色动画，用于广告宣传。
- 电影和游戏制作：在电影或视频游戏中生成逼真的角色动画，提高制作效率。
开发者还提出了一个新的基准测试，包含大约4000帧，用于评估多角色姿势动画的性能。通过大量实验，作者展示了他们的方法在两个数据集上超过现有最先进方法35%以上，并在7个指标上表现出优势。此外，通过定性评估，揭示了在复杂背景和多角色身体遮挡场景中生成视频的质量显著提高。
评论0