香港城市大学的研究人员推出创新系统DrawingSpinUp，它能够将单一的平面角色绘画转换成三维动画，同时保留了原始艺术作品的风格和特征。这就像是给一张静态的画注入生命，让它动起来，比如让一个纸上的人物开始跑步、跳跃或者跳舞。
研究团队观察到，在角色绘制中普遍存在的轮廓线，由于它们的视角依赖性，会在纹理合成中引入显著的模糊性。此外，由单线轮廓表示的薄区域（例如，火柴人细长的四肢）由于其精细的结构而难以重建。为了解决这些问题，研究团队提出了一个新颖的系统，DrawingSpinUp，以产生合理的3D动画，并赋予角色绘制生命，使它们能够自由旋转、跳跃，甚至表演嘻哈舞蹈。为了改善外观，研究团队采用了一种移除-然后-恢复的策略，首先移除视角依赖的轮廓线，然后在重新定位重建的角色后将其渲染回来。为了几何精化，研究团队开发了一种基于骨架的细化变形算法，以细化由单线轮廓表示的细长结构。
主要功能：
- 3D动画生成： 将平面的绘画作品转换成可以在三维空间中自由移动的动画。
- 风格保持： 在动画转换的过程中，保持原绘画的风格和特征，如线条和颜色。
主要特点：
- 去除轮廓线： 系统能够识别并去除绘画中的轮廓线，这些线条在3D建模中可能会引起混淆。
- 骨架基础的变形算法： 对于绘画中的细长结构（如四肢），系统有一种特殊的算法来精细化这些结构的3D表示。
- 风格恢复： 在3D动画生成后，系统能够将原绘画的风格重新应用到动画中，确保动画与原画风格一致。
工作原理：
- 轮廓线去除： 使用一个神经网络来识别并去除绘画中的轮廓线，然后用快速行进方法填充去除区域的内部纹理。
- 3D角色生成： 利用预训练的图像到3D模型的扩散模型（如Wonder3D）来重建一个具有纹理的3D几何体。
- 形状切割和细化： 对重建的3D形状进行切割和细化，以处理细长结构。
- 纹理反投影： 将多视图颜色图像重新映射到3D空间中，以改善纹理质量。
- 骨架绑定和动作重定向： 自动为3D角色绑定骨架，并根据给定的3D动作数据进行动画渲染。
- 风格化轮廓恢复： 使用一个双阶段的几何感知风格化网络来恢复每一帧动画的原始绘画风格。
具体应用场景：
- 艺术和设计： 艺术家和设计师可以使用这个系统将他们的绘画作品转换成动画，用于数字艺术展示或设计原型。
- 游戏开发： 游戏开发者可以利用这个系统快速将角色概念艺术转换成可动画的角色模型，加速游戏制作流程。
- 教育和娱乐： 在教育领域，这个系统可以帮助孩子们理解三维空间和动画原理，同时在娱乐领域，它可以用来创造有趣的互动体验。
评论0