图像到视频（I2V）生成任务的目标是从单张图像生成一段连贯的视频，通常涉及对目标对象进行空间移动或变形。现有的方法大多依赖于2D轨迹来表示对象的运动，这虽然简单但存在局限性：
- 无法捕捉用户意图：2D轨迹难以准确表达复杂的3D运动，如旋转、缩放等。
- 生成结果不自然：由于缺乏深度信息，生成的视频中对象的运动往往显得不真实。
为了克服这些挑战，南洋理工大学的研究人员提出了 ObjCtrl-2.5D，它是一种用于图像到视频（I2V）生成中的训练无关对象控制技术。该方法通过使用3D轨迹（从2D轨迹扩展而来，增加了深度信息）作为控制信号，实现了对视频中目标对象运动的精确控制。ObjCtrl-2.5D通过将对象运动建模为相机运动，利用现有的相机运动控制I2V生成模型（CMC-I2V），在无需额外训练的情况下实现对象运动控制。
- 项目主页：https://wzhouxiff.github.io/projects/ObjCtrl-2.5D
- GitHub：https://github.com/wzhouxiff/ObjCtrl-2.5D
- Demo：https://huggingface.co/spaces/yslan/ObjCtrl-2.5D
例如，你想生成一个视频，其中一只狗在一个公园里奔跑。你可以提供一个狗的图片作为条件图像，并绘制一个2D轨迹，指示狗在视频中的运动路径。ObjCtrl-2.5D能够将这个2D轨迹扩展到3D，并将其转换为相机姿势序列，从而生成一个视频，视频中的狗不仅遵循指定的路径，还能实现更真实的运动效果，比如向相机靠近或远离。
ObjCtrl-2.5D的核心技术
3D轨迹作为控制信号：
- 从2D扩展到3D：ObjCtrl-2.5D将传统的2D轨迹扩展为包含深度信息的3D轨迹。3D轨迹不仅能够表示对象在二维平面上的移动，还能捕捉其在三维空间中的变化，如旋转、缩放和深度变化。
- 相机姿态建模：通过将对象的移动建模为相机的移动，3D轨迹被表示为一系列相机姿态。这种转换使得现有的相机运动控制I2V生成模型（CMC-I2V）可以直接用于对象运动控制，而无需额外的训练。
隔离目标对象与背景：
- 局部控制模块：为了使原本设计用于全局运动控制的CMC-I2V模型适应处理局部对象运动，研究人员引入了一个局部控制模块。该模块能够隔离目标对象与背景，从而实现独立的局部控制。具体来说，它通过掩码机制将目标对象与其周围的背景分离，确保对象的运动不会影响背景，反之亦然。
低频扭曲潜在信息共享：
- 帧间共享机制：为了实现更精确的对象控制，研究人员设计了一种有效的方法，通过在对象区域内的帧之间共享低频扭曲潜在信息。这种方法能够在保持对象运动连贯性的同时，减少不必要的背景干扰，从而提高生成视频的质量。
- 低频扭曲潜在信息是指对象在不同帧之间的全局变换（如旋转、缩放等），这些信息在相邻帧之间通常是相似的。通过共享这些信息，模型可以更好地捕捉对象的连续运动，避免生成不自然的结果。
实验结果与优势
- 更高的对象控制精度：广泛的实验表明，ObjCtrl-2.5D显著提高了对象控制的精度。与基于2D轨迹的无训练方法相比，ObjCtrl-2.5D能够更准确地捕捉用户的意图，生成的视频中对象的运动更加自然和逼真。
- 更多样的控制能力：通过引入3D轨迹，ObjCtrl-2.5D不仅能够控制对象的平移运动，还能实现复杂的特效，如对象旋转、缩放和深度变化。这使得生成的视频更加多样化，能够满足更多应用场景的需求。
- 无需额外训练：ObjCtrl-2.5D的一个重要优势是它无需额外训练，直接利用现有的CMC-I2V模型即可实现对象运动控制。这大大降低了开发成本和时间，使得该方法更具实用性和可扩展性。
- 处理复杂场景的能力：在处理复杂场景时，ObjCtrl-2.5D表现出色，能够应对多个对象的交互、遮挡等问题。通过局部控制模块和低频扭曲潜在信息共享机制，模型能够在保持背景稳定的同时，灵活控制目标对象的运动。
应用场景
ObjCtrl-2.5D在多个应用场景中具有广泛的应用潜力，包括但不限于：
- 虚拟现实（VR）和增强现实（AR）：通过精确控制虚拟对象的运动，提升用户的沉浸感和交互体验。
- 影视制作：帮助导演和制片人快速生成高质量的特效镜头，节省时间和成本。
- 游戏开发：为游戏开发者提供更灵活的对象控制工具，提升游戏的视觉效果和玩家体验。
- 广告和营销：生成个性化的广告视频，吸引用户的注意力并提高品牌知名度。
评论0