腾讯音乐娱乐推出开源虚拟人视频生成框架MusePose

腾讯音乐娱乐旗下天琴实验室推出开源虚拟人视频生成框架MusePose，MusePose 是 Muse 开源系列的最后一个组件，与 MuseV 和 MuseTalk 一起，标志着向构建端到端虚拟人物生成系统迈出了重要一步。目前已经推出了Comfyui插件，大家可以在Comfyui运行MusePose制作虚拟人视频。

• GitHub：https://github.com/TMElyralab/MusePose
• 模型地址：https://huggingface.co/TMElyralab/MusePose
• Comfyui插件：https://github.com/TMElyralab/Comfyui-MusePose

概述

MusePose 是一个基于扩散模型和姿势引导的虚拟人物视频生成框架，它具有以下显著特点：

1. 高质量视频生成：发布的模型可以根据预设的姿势序列，从参考图像生成人物角色的舞蹈视频，其结果质量在当前开源模型中表现卓越。
2. 姿势对齐算法：推出了 pose align（姿势对齐）算法，它允许用户将任意舞蹈视频与任意参考图像对齐，显著提升了处理效率并增强了模型的易用性。
3. 持续改进：基于 Moore-AnimateAnyone 的代码，开发人员修复了若干重要错误，并进行了进一步的改进，以确保框架的稳定性和可靠性。