来自浙江大学、加州大学伯克利分校和蚂蚁集团的研究人员推出SpatialTracker，这是一种能够在三维空间中跟踪任意二维像素点的方法。它使用单目深度估计器将2D像素提升到3D，使用三平面表示法有效表示每帧的3D内容，并使用转换器进行迭代更新以估计3D轨迹。在3D中进行跟踪使我们能够利用尽可能刚性的（ARAP）约束，同时学习一个刚性嵌入，将像素聚类成不同的刚性部分。
例如，你正在看一部3D电影，电影中的每一个像素点都在你的眼前跳跃，而SpatialTracker就像是一个超级侦探，能够精确地追踪这些像素点在电影中的每一个动作，即使它们在屏幕上消失或者被其他物体遮挡。
主要功能：
SpatialTracker的主要功能是恢复视频中密集且长距离的像素运动。它通过将二维像素点提升到三维空间，并在这个空间中进行跟踪，从而解决了二维运动领域中的遮挡和不连续性问题。这种方法特别适用于处理复杂的三维运动，如旋转和遮挡。
主要特点：
- 三维跟踪： 与传统的二维跟踪技术不同，SpatialTracker在三维空间中进行跟踪，这使得它能够更好地处理遮挡和复杂的运动模式。
- 使用深度估计： 该技术利用单目深度估计器将二维像素点转换到三维空间，这样即使在遮挡发生时，也能够继续跟踪。
- 迭代更新： 使用变换器（transformer）进行迭代更新，以估计三维轨迹，这有助于在复杂场景中保持跟踪的准确性。
- 刚性约束： 通过尽可能保持刚性（ARAP）约束，SpatialTracker可以将像素点分组到不同的刚性部分，这有助于在遮挡和大运动场景中保持跟踪的连贯性。
工作原理： SpatialTracker的工作原理可以分为几个步骤：
- 深度估计： 首先，使用单目深度估计器为每一帧视频生成深度图。
- 三维表示： 然后，将二维像素点和它们的深度信息结合起来，构建一个三维点云。
- 特征映射： 通过将三维点云映射到三个正交平面（称为triplane表示），来创建每一帧的三维特征图。
- 迭代预测： 使用变换器对查询像素点的三维轨迹进行迭代预测，同时利用ARAP约束来优化轨迹。
- 轨迹跟踪： 最终，将预测的三维轨迹投影回二维图像平面，以完成跟踪。
具体应用场景： SpatialTracker的应用场景非常广泛，包括但不限于：
- 视频编辑和特效制作： 在电影和游戏中，可以用来跟踪物体的运动，以便添加特效或者进行场景重建。
- 增强现实（AR）： 在AR应用中，可以用于跟踪用户的视角和手势，提供更自然的交互体验。
- 自动驾驶汽车： 在自动驾驶系统中，可以用来跟踪周围环境的变化，提高车辆的感知能力。
- 运动分析： 在体育分析中，可以用来跟踪运动员的动作，帮助教练和运动员改进技术。
总的来说，SpatialTracker通过在三维空间中跟踪像素点，提供了一种强大的工具，能够在各种复杂场景中实现精确的运动估计。
评论0