Follow-Your-Click：通过用户简单的点击和简短的动作提示来实现图像的局部动画化

来自香港科大、腾讯浑源和清华大学的团队推出新颖框架Follow-Your-Click，它能够通过用户简单的点击和简短的动作提示来实现图像的局部动画化。

想象一下，你有一张静态图片，比如一只猫坐在沙发上，你想让它在视频中动起来，比如摇动尾巴或者眨眼睛。使用“Follow-Your-Click”，你只需要点击图片中你想要动画化的区域，并输入一个简短的动作描述，比如“摇尾巴”，系统就会根据你的指示生成一个动态视频。

主要功能：

• 实现图像的局部动画化，而不仅仅是整个场景的动画。

• 允许用户通过点击和简短的文本提示来控制动画。

• 提供对动画速度的精确控制。

主要特点：

• 用户友好的交互方式，通过点击和简短的动作描述来指定动画。

• 引入了首帧遮罩策略，显著提高了视频生成质量。

• 通过光学流量控制动画速度，而非仅通过帧率（FPS）。

工作原理：

• 首先，系统使用SAM（Segment Anything Model）将用户的点击转换为二进制区域遮罩，作为网络条件之一。

• 为了更好地学习时间相关性，引入了有效的首帧遮罩策略。

• 为了提高对简短动作提示的响应能力，构建了一个名为WebVid-Motion的数据集，并设计了一个运动增强模块。

• 通过基于光流的运动强度控制，实现了对目标运动速度的精确控制。

具体应用场景：

• 电影和增强现实行业，用于为静态图像添加动态元素。

• 自动广告制作，为产品图片创建吸引人的动画效果。

• 社交媒体内容创作，让用户能够快速为图片添加动画效果，制作有趣的视频内容。

总的来说，“Follow-Your-Click”是一个实用且易于控制的图像动画化工具，它通过简化的用户交互和先进的技术实现了高质量的局部图像动画。