跨七大领域通用世界模型框架 JEPA-Anything：一套学习方案搞定视觉、生物、气候与分子模拟

49 0

来自PhAI Labs、香港中文大学、复旦、斯坦福、牛津、普林斯顿的联合团队发布JEPA-Anything，一套领域无关的世界模型构建框架。不同于传统思路为每个场景单独定制预测模型，JEPA-Anything依靠一套共享学习范式，适配7大截然不同的领域：视觉、生物学、临床轨迹、机器人控制、分子动力学、物理场、天气。

GitHub：https://github.com/Gen-Verse/JEPA-Anything
模型：https://huggingface.co/collections/Gen-Verse/jepa-anything

原有JEPA的短板：容量分配问题

经典JEPA（I-JEPA、V-JEPA 2）架构由上下文编码器、EMA目标编码器与单个预测器组成，预测器只输出单一目标嵌入。

跨七大领域通用世界模型框架 JEPA-Anything：一套学习方案搞定视觉、生物、气候与分子模拟

团队指出这里存在容量分配缺陷：数据中方差高的结构会主导学习过程，变化微弱的模式会收到冲突梯度，模型无法均衡学习多尺度、多类型信息。JEPA-Anything引入正交预测分解（OPF, Orthogonal Prediction Decomposition）扩展JEPA，解决这个痛点。

正交预测分解OPF原理

OPF把维度为d的潜在目标空间，切分成K个互不重叠、维度r的学习子空间（d=K×r，实验常用K=4），每个子空间配备独立预测器。各个因子的预测结果，通过投影矩阵的Moore-Penrose伪逆重新合并，还原完整潜在状态，用于解码、规划与虚拟推演rollout。

配套三项正则化约束，保障各个子空间有效工作：

正交损失：保证投影器内部列正交归一，不同投影器落在互不重叠子空间
因子活动损失：利用铰链约束，避免某个子因子完全失效
编码器方差损失：直接向在线编码器发送信号，防止表征坍缩

OPF损失叠加在各领域原有训练损失之上。领域适配器负责不同数据的分词与编码；核心模块对外暴露OrthogonalFactorProjection组件。正交特性极大提升合成推演稳定性：在CITRIS Interventional Pong任务，普通多头模型条件数438.52，OPF正交版本低至1.00005，因子之间几乎没有重叠干扰。

实验结果

第一组：终端读出任务

单细胞PBMC零样本聚类AvgBIO指标提升至0.7752（基线Cell-JEPA为0.7194）；Norman基因扰动实验Pearson相关系数从0.787提升至0.814。UK Biobank超千项临床事件预测，平均PRAUC达到0.718，高于标准JEPA的0.711。

第二组：潜在动力学推演（rollout）

在Interventional Pong上，单次干预MSE下降34.83%，未见过的组合干预指标提升12.90%，6步推演误差提升8.58%。全部10项动力学任务均优于同参数量标准JEPA基线，覆盖CausalWorld、DeepMind Control、PDEBench、WeatherBench2。

APEBench Burgers方程测试，6步推演误差下降约44.7%，所有随机种子下均稳定优于基线。在水、石英、对乙酰氨基酚、苯分子的100步长时序推演，TrajCast主干下取得最低MAE与RMSD。