帧插值是生成两个图像之间平滑过渡帧的技术，广泛应用于视频处理、动画制作和内容创作等领域。传统的帧插值方法通常依赖于固定的算法，难以实现对局部运动的精细控制。浙江大学和蚂蚁集团的研究人员提出了Framer，这是一个用于交互式帧插估的工具，旨在根据用户的创造力生成两个图像之间平滑过渡的帧。Framer允许用户通过定制选定关键点的轨迹来控制过渡过程，从而直接影响场景中对象的运动和变形。
- 项目主页：https://aim-uofa.github.io/Framer
- GitHub：https://github.com/aim-uofa/Framer
- 模型：https://huggingface.co/wwen1997/framer_512x320
- Demo：https://huggingface.co/spaces/wwen1997/Framer
- ComfyUI插件：https://github.com/kijai/ComfyUI-FramerWrapper
例如，在图像变形（image morphing）应用中，用户可能希望将一张图片中的物体以特定的方式变形为另一张图片中的物体。使用Framer，用户可以通过调整关键点的轨迹来控制这种变形，从而生成一系列符合预期的中间帧。
主要功能和特点
-
交互式定制：用户可以通过调整关键点的轨迹来定制视频帧之间的过渡。 -
自动“自动驾驶”模式：Framer提供了一个自动模式，可以自动估计关键点并优化轨迹，简化了用户的操作。 -
增强的对应关系：通过关键点轨迹建立帧之间的明确对应关系，特别适用于起始和结束帧之间形状、风格或语义差异较大的挑战性案例。 -
基于生成模型：Framer基于大规模预训练的视频扩散模型，利用这些模型在外观、结构和运动方面的视觉先验。
工作原理
-
模型架构：Framer基于一个预训练的图像到视频的扩散模型（如Stable Video Diffusion, SVD），并在视频数据集上进行微调，以实现视频帧插值。 -
交互式帧插值：通过添加控制分支来引入关键点轨迹控制，使用户能够通过拖动关键点来影响帧插值过程。 -
“自动驾驶”模式：在没有用户输入的情况下，Framer使用一种新颖的双向点跟踪方法来估计整个视频序列中匹配点的轨迹，自动化获取关键点轨迹的过程。
实验结果
广泛的实验结果表明，Framer在各种应用中表现出色的性能，包括但不限于以下几种：
-
图像变形：Framer可以生成两个图像之间的平滑变形过程，适用于艺术创作和特效制作。 -
延时视频生成：Framer可以生成高质量的延时视频，适用于风景拍摄和城市景观展示。 -
卡通插值：Framer可以生成卡通角色之间的平滑过渡，适用于动画制作和游戏开发。
具体应用场景
-
图像变形：在两张图像之间生成平滑过渡的中间帧。 -
慢动作视频生成：通过快速帧插值来增强视觉效果，突出快速现象的细节。 -
卡通和素描插值：简化卡通视频的制作过程，通过插值手动创建的卡通图像。 -
时间流逝视频生成：通过插值关键时刻的少量图像来获得时间流逝视频。 -
新视角合成：使用不同视角的图像作为视频的起始和结束帧，实现从稀疏视角输入的新视角合成。
Demo使用方法
1、上传图像
- 通过“Upload Start Image”按钮上传开始图像
- 通过“Upload End Image”按钮上传结束图像
2、（可选）绘制一些拖动轨迹。
- 点击“Add Drag Trajectory”以添加运动轨迹。
- 你可以在开始或结束图像上点击几个点来形成一条路径。
- 点击“Delete last drag”以删除整个最新的路径。
- 点击“Delete last step”以删除最新点击的控制点。
3、点击“Run”按钮，根据路径生成插值动画
评论0