LeVJEPA 是首个基于 LeJEPA 无崩溃目标训练的视频自监督编码器，核心创新是不再依赖 EMA 目标编码器、停止梯度、预测器、像素重建解码器这些传统手段来规避表征崩溃，依靠 SIGReg（Sketched Isotropic Gaussian Regularizer）正则项，从数学上保证嵌入分布为各向同性高斯，天然防止表征坍缩。
- 项目主页：https://levjepa.github.io/
- GitHub：https://github.com/MLO-lab/LeVJEPA
- 模型：https://huggingface.co/galilai-group/LeVJEPA-1.5-Large
架构创新：摒弃传统启发式机制
传统的自监督视频预训练通常依赖复杂的架构机制来避免“表示崩溃”（Representation Collapse）。例如，V-JEPA 依赖指数移动平均（EMA）目标编码器、停止梯度操作以及容量受限的预测器；而 VideoMAE 则依赖像素空间重建与专用的解码器。
LeVJEPA 摒弃了这些启发式设计。其可训练架构被简化为仅包含一个编码器和一个小型投影器，目标函数中仅引入一个超参数 λ。模型在视频片段的全局和局部视图上计算不变性损失，并引入 SIGReg（草图各向同性高斯正则化器）。该正则化器将嵌入分布约束为各向同性高斯分布，从而以可证明的数学保证排除了表示崩溃的可能。由于无需目标编码器的前向传递和额外的预测器，训练步骤的计算成本完全取决于编码器实际处理的 token 数量。
关键工程发现：激进 Token 丢弃与因果注意力
在模型训练过程中，研究团队得出了两项对工程实践具有指导意义的结论：
- 激进的 Token 丢弃作为增强手段：研究表明，均匀随机丢弃 95% 的 patch token 不仅不会降低模型性能，反而能单调提升 ImageNet 探测准确率（从使用全部 token 的 33.9% 提升至丢弃 95% 时的 47.6%），同时将每步训练成本降低多达 20 倍。在此机制下，传统掩码预测方法所需的结构化 tube 掩码反而会损害模型表现。
- 跨帧因果注意力的自然获取：由于模型分支之间不再需要不对称设计，编码器可以自然地实现跨帧因果注意力，且不会带来可测量的准确率损失。这意味着每一帧的特征表示仅依赖于过去的观察结果，这一特性恰好契合流式推理和自回归世界模型的实际需求。
性能表现与训练预算对比
LeVJEPA-1.5-Large 模型在约 5,300 个独特视频小时和 151 exaflops 的计算量上完成训练。在涵盖 15 个图像数据集和 7 个视频数据集的 22 个基准测试中，其平均准确率达到 78.76%。
通过对比可以看出其极高的数据与计算效率：
- 对比 V-JEPA 1（总体准确率 79.77%）：LeVJEPA 使用了少 25.7 倍的数据和 5.6 倍的计算量（V-JEPA 1 约需 136,000 小时数据与 844 exaflops）。
- 对比 V-JEPA 2（总体准确率 81.63%）：LeVJEPA 使用了少 321 倍的数据和约 28.5 倍的计算量（V-JEPA 2 约需 1,700,000 小时数据与约 4,300 exaflops）。
值得注意的是，在医疗切片识别、卫星遥感地图分类以及部分视频动态纹理任务上，LeVJEPA 的识别准确率甚至超越了资源消耗为其数十倍的同类模型。
版本演进与流式推理优化
当前代码仓库提供的是第二版（v2）实现。v1 版本（保留在 legacy 目录中）在整个视频片段上使用 [cls] token 和块因果注意力。而 v2 编码器专为流式处理构建，具备以下工程改进：
- 滑动窗口因果注意力：每帧仅关注自身及之前的
attention_window - 1帧，避免了未来信息的泄露。 - 片段总结机制：使用最后一帧的单个读出 token 来总结整个视频片段。
- 位置编码与网络块优化：在时间、行、列 (time, row, column) 三个维度上应用 3-D 旋转位置编码（RoPE），并在网络块中引入 QK-norm 和 SwiGLU 激活函数。
其预训练配方延续了核心设计：采用随机 token 丢弃（默认全局视图每帧 196 个 token 中丢弃 10 个，局部视图 36 个中丢弃 2 个），每个片段包含一个全局视图和多个局部视图，并在投影读出上应用不变性损失与 λ · SIGReg 正则化。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
