香港城市大学和莫纳什大学的研究人员推出AniClipart，它能够根据文本提示将静态的剪贴画（clipart）转换成动画。剪贴画是一种预先制作的图形艺术形式，通常用于快速增强视觉内容。传统的剪贴画动画制作流程非常繁琐和耗时，需要进行绑定、关键帧动画和中间帧制作等多个步骤。而AniClipart利用最新的文本到视频（Text-to-Video）生成技术，自动化地生成剪贴画动画，大大简化了这一过程。
- GitHub：https://aniclipart.github.io
主要功能和特点：
- 文本驱动的动画生成：用户只需提供一个文本提示，比如“一只跳跃的狗”或“一个女人在跳舞”，AniClipart就能生成相应的动画。
- 视觉身份保留：在动画过程中，系统能够保持剪贴画的原始视觉特征，即使在动态环境中也能识别和保持关键的视觉元素。
- 运动规律化：通过在剪贴画的关键点上定义贝塞尔曲线，系统能够生成平滑且符合卡通风格的运动。
- 端到端优化：结合不同的损失函数，AniClipart能够在保持视觉身份的同时，优化关键点的运动轨迹。
工作原理：
AniClipart的工作流程包括以下几个步骤：
- 预处理：检测剪贴画中的关键点，构建骨骼，并在剪贴画上构建一个用于形状变形的三角网格。
- 贝塞尔驱动的动画：为每个关键点分配一个贝塞尔曲线，作为该点随时间运动的轨迹。在特定时间点，关键点到达新位置后，使用尽可能刚体的2D形状变形算法（ARAP）调整整个剪贴画，形成新的姿势。
- 损失函数优化：使用视频得分蒸馏采样（VSDS）损失来优化关键点的运动轨迹，确保动画与文本提示相匹配，同时使用骨架损失来保持剪贴画的形状完整性。
具体应用场景：
- 文档和演示：在文档和演示文稿中添加动画元素，使内容更加生动有趣。
- 网站和广告：为网站和广告制作动画插图，提高用户参与度和注意力。
- 教育材料：在教育材料中使用动画剪贴画，帮助学生更好地理解和记忆信息。
- 社交媒体：在社交媒体上分享动画剪贴画，增加帖子的吸引力和传播力。
AniClipart通过结合预训练的文本到视频扩散模型和关键点驱动的动画生成，提供了一种创新的方式来自动化生成剪贴画动画，这在节省时间和资源的同时，也为创意表达提供了新的可能性。
评论0