专为人体图像动画设计的大规模高质量数据集HumanVid:结合了精心挑选的真实世界数据和合成数据

香港中文大学和上海人工智能实验室的研究人员推出HumanVid,它旨在揭开用于生成逼真人物视频动画的训练数据的神秘面纱。HumanVid是首个为人物图像动画量身定制的大规模、高质量的数据集,它结合了精心制作的现实世界数据和合成数据。例如,你是一位电影制作人,你想要在电影中重现一个经典场景,但原始演员已经不在或者无法参与拍摄。使用HumanVid,你只需一张演员的照片,就可以生成高质量的视频动画,让角色在新的视频中栩栩如生。这不仅节省了高昂的制作成本,还能够创造出前所未有的视觉体验。

HumanVid是第一个专为人体图像动画设计的大规模高质量数据集,它结合了精心挑选的真实世界数据和合成数据。对于真实世界的数据,研究团队从互联网上收集了大量的无版权真实世界视频。通过精心设计的基于规则的筛选策略,研究团队确保了高质量视频的收录,最终形成了包含2万个人物为中心的1080P分辨率视频集合。人体和摄像机运动的标注是通过2D姿态估计器和基于SLAM的方法实现的。对于合成数据,研究团队收集了2,300个无版权的3D虚拟形象资源来增强现有的3D资源。

值得注意的是,研究团队引入了一种基于规则的摄像机轨迹生成方法,使合成流程能够融合多样且精确的摄像机运动标注,这是在真实世界数据中很少见的。为了验证HumanVid的有效性,研究团队建立了一个名为CamAnimate(即“可控制摄像机的人体动画”)的基础模型,该模型考虑了人体和摄像机的动作作为条件。

主要功能和特点:

  1. 高质量数据集:HumanVid包含20K以人物为中心的1080P分辨率视频,以及精确的人物和摄像机运动注释。
  2. 合成数据管道:通过合成数据,HumanVid能够扩展人物视频的多样性和真实感,包括精确的摄像机轨迹注释。
  3. 摄像机控制:与以往主要关注2D人体动作的方法不同,HumanVid还重视视频中摄像机运动的重要性,提供更全面的控制能力。
  4. 基线模型CamAnimate:这是一个简单的相机可控人物动画模型,考虑了人体和摄像机运动作为条件,展示了HumanVid数据集的有效性。

工作原理:

  • HumanVid数据集从互联网上收集了大量版权免费的现实世界视频,并通过规则基过滤策略确保视频质量。
  • 使用2D姿态估计器和基于SLAM(同步定位与地图构建)的方法完成人体和摄像机运动注释。
  • 对于合成数据,收集了2300个版权免费的3D头像资产,并引入了基于规则的摄像机轨迹生成方法,以增加训练数据中摄像机运动的多样性。

具体应用场景:

  • 视频和电影制作:HumanVid可以用于从单张照片生成人物视频,为视频和电影制作提供新的制作手段。
  • 角色动画:利用HumanVid,可以重现电影中的经典表演,只需一张角色的照片,就可以从任何想要的角度捕捉他们的动作。
  • 虚拟现实和增强现实:在VR和AR应用中,HumanVid可以用于创建更加逼真和可控的虚拟角色。
0

评论0

没有账号?注册  忘记密码?