德克萨斯大学奥斯汀分校和浙江大学的研究人员推出HSMR，用于从单张图像中重建具有生物力学准确骨架的三维人体模型。该方法通过训练一个基于 Transformer 的网络，估计生物力学模型 SKEL 的参数，从而实现对人体骨架和表面网格的精确重建。与现有方法相比，HSMR 在极端姿势和视角下表现出色，并且生成的关节旋转更加符合生物力学规律。
- 项目主页：https://isshikihugh.github.io/HSMR
- GitHub：https://github.com/IsshikiHugh/HSMR
- Demo：https://huggingface.co/spaces/IsshikiHugh/HSMR
主要功能
- 三维人体重建：从单张图像中重建出人体的骨架和表面网格，能够生成具有生物力学准确性的三维人体模型。
- 生物力学约束：生成的模型严格遵循生物力学约束，避免了不自然的关节旋转，特别适用于对生物力学精度要求较高的应用。
- 极端姿势处理：在处理极端姿势（如瑜伽姿势）和不常见视角时表现出色，能够生成更准确的三维重建结果。
主要特点
- 生物力学准确性：采用 SKEL 模型，该模型结合了生物力学骨架和 SMPL 表面网格，能够生成符合生物力学规律的人体模型。
- 端到端学习：通过 Transformer 网络直接从图像中回归 SKEL 模型的参数，无需复杂的优化过程。
- 伪标签迭代优化：由于缺乏带有 SKEL 参数的图像数据集，作者提出了一种迭代优化方法，逐步改进伪标签的质量，从而提高模型的训练效果。
- 高性能：在多个标准基准测试中，HSMR 的性能与现有的最先进方法相当，但在处理极端姿势时表现更优。
工作原理
- SKEL 模型：SKEL 是一个结合了生物力学骨架和 SMPL 表面网格的参数化人体模型。它通过限制每个关节的自由度，确保生成的模型符合生物力学规律。
- 网络架构：HSMR 使用基于 Transformer 的网络架构，以单张图像作为输入，直接回归 SKEL 模型的参数（包括姿态参数和形状参数）。
- 训练数据生成：由于缺乏带有 SKEL 参数的图像数据集，作者通过将现有的 SMPL 数据集转换为 SKEL 参数来生成初始伪标签。然后，通过迭代优化过程逐步改进这些伪标签的质量。
- 迭代优化：在训练过程中，HSMR 定期对伪标签进行优化，以确保生成的模型与图像中的二维关键点对齐。优化过程包括重投影误差最小化、形状先验和姿态先验的约束。
应用场景
- 生物力学分析：
- 运动分析：HSMR 可以用于分析运动员的动作，帮助教练和医生评估运动姿势的合理性，预防运动损伤。
- 康复治疗：在康复治疗中，HSMR 可以帮助医生评估患者的关节活动范围，为康复训练提供精确的指导。
- 示例：对于瑜伽练习者，HSMR 可以精确重建复杂的瑜伽姿势，帮助分析姿势的正确性。
- 虚拟现实和增强现实：
- 虚拟角色创建：HSMR 可以从单张图像中生成具有生物力学准确性的三维人体模型，用于创建虚拟角色。
- 虚拟试衣：在虚拟试衣应用中，HSMR 可以生成精确的人体模型，帮助用户更好地预览服装的合身效果。
- 示例：在虚拟现实游戏中，HSMR 可以根据玩家的实时图像生成精确的三维角色模型，增强游戏的沉浸感。
- 影视和动画制作：
- 动作捕捉：HSMR 可以用于动作捕捉，从单张图像中重建出精确的三维人体模型，减少对多视角摄像机的需求。
- 动画制作：在动画制作中，HSMR 可以帮助动画师快速生成符合生物力学规律的三维人物模型，提高制作效率。
- 示例：在制作一部动画电影时，HSMR 可以根据角色的图像生成精确的三维模型，帮助动画师快速调整角色的姿势和动作。
总结
HSMR 通过结合生物力学模型 SKEL 和 Transformer 网络，从单张图像中重建出具有生物力学准确性的三维人体模型。其端到端的学习方法和伪标签迭代优化过程，使其在处理极端姿势和视角时表现出色。HSMR 不仅在生物力学分析中具有重要应用价值，还在虚拟现实、增强现实和影视动画制作等领域具有广泛的应用前景。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
