中国科学技术大学和腾讯的研究人员推出高效框架Make-It-Animatable，它用于将任意3D人物模型快速制作成可用于动画的角色。这个框架能够在不到一秒钟的时间内，无论3D模型的形状和姿势如何，都能生成高质量的绑定权重、骨骼和姿势转换，从而使3D模型完全可动画化。
- 项目主页：https://jasongzy.github.io/Make-It-Animatable
- GitHub：https://github.com/jasongzy/Make-It-Animatable
- 模型：https://huggingface.co/spaces/jasongzy/Make-It-Animatable
- Demo：https://huggingface.co/spaces/jasongzy/Make-It-Animatable
例如，你有一个3D角色模型，这个模型可能是一个具有任意姿势和形状的虚构人物。使用“Make-It-Animatable”框架，你可以在不到一秒钟内为这个角色生成精细的骨骼结构和皮肤绑定，使其能够进行各种动画表演，比如走路、跳跃或者舞蹈。
主要功能和特点
- 快速动画准备：能够在不到一秒钟内为任何3D人物模型生成动画所需的骨骼和皮肤绑定。
- 高质量结果：生成的3D模型具有精确的骨骼、绑定权重和休息姿势转换。
- 广泛的3D表示支持：支持多种3D表示，包括网格和3D高斯溅射。
- 粗到细的表示：通过粗到细的表示和结构感知建模策略，确保了准确性和鲁棒性。
- 灵活性：可以适应各种预定义的骨骼结构，提供对关节运动的更大控制。
工作原理
“Make-It-Animatable”框架的工作原理包括以下几个关键步骤：
- 粒子基础的形状自编码器：使用基于粒子的自编码器来描述输入几何形状的紧凑神经潜在表示。
- 几何感知注意力：通过注意力机制注入几何信息，如点的法线值，以增强形状表示。
- 空间连续解码：利用神经场表示的潜在特征，直接查询坐标以获得空间连续属性，例如混合权重。
- 可学习的离散解码：对于骨骼属性（如关节位置和姿势），使用可学习的语义查询进行解码。
- 粗到细的形状表示：通过规范变换和层次采样来增强形状表示，提高关键区域（如手部）的采样密度。
- 结构感知骨骼建模：使用结构感知的变换器来预测骨骼属性，确保预测与骨骼拓扑结构的一致性。
具体应用场景
- 视频游戏：为游戏中的3D角色快速生成动画，提高角色动画的多样性和真实性。
- 3D动画制作：在动画电影或电视制作中，快速为3D模型创建动画，减少手动工作量。
- 虚拟现实（VR）：在VR应用中，实时为用户创建的3D角色生成动画，提高互动性。
- 模拟和训练：在军事或医疗模拟中，为模拟人物创建逼真的动画，以提高训练效果。
- 教育和娱乐：为教育软件中的3D角色提供动画，增强学习体验的吸引力和互动性。
评论0