Prior Labs 发布TabPFN-3.5：无需训练，默认设置即击败 Kaggle 冠军的表格基础模型

Prior Labs 正式发布了 TabPFN-3.5，这是其表格基础模型（Table Foundation Model）系列的最新迭代。该模型的核心突破在于：它不需要针对特定数据集进行训练或超参数调优，仅凭前向传递（Forward Pass）即可在默认设置下达到甚至超越传统机器学习竞赛的获胜方案。

• 地址：https://priorlabs.ai/tabpfn-3-5

最引人注目的成就是，TabPFN-3.5 在著名的 2015 年 Otto Group 产品分类挑战赛（Kaggle）中，以 0.375 的对数损失得分击败了当年的冠军方案（0.382），而这一切仅耗时约一分钟，且使用的是原始数据和默认配置。

历史性突破：击败 Otto Kaggle 冠军

Otto 竞赛是表格数据领域的基准测试之一，要求将产品分为 9 个类别。

• 2015 年冠军：由两位 Kaggle 特级大师 Gilberto Titericz 和 Stanislav Semenov 提交，使用了基于手工特征的 36 个模型的多层堆叠集成。
• TabPFN-3.5 表现：
  • 得分：0.375（优于冠军的 0.382，越低越好）。
  • 设置：完全默认，无特征工程，无超参数搜索。
  • 耗时：在 RTX PRO 6000 GPU 上仅需约 1 分钟。
  • 背景：模型仅在合成数据上预训练，从未见过 Otto 或任何真实 Kaggle 数据集。

这一结果标志着表格机器学习从“手工特征工程 + 复杂集成”向“基础模型直接推理”的范式转变。

全面领先的基准表现

Prior Labs 的技术报告显示，TabPFN-3.5 在 7 个主流表格基准上均排名第一：

注意：虽然基础模型表现卓越，但在某些特定切片（如分组、时间、大数据集）上，经过深度调优和集成的 MLP 仍可能保持微弱优势。

核心技术升级

TabPFN-3.5 相比前代进行了显著的架构优化：

1. 更宽的 Transformer：上下文维度从 512 增至 1024，参数量达到 2.2 亿（TabPFN-3 分类版为 5300 万）。
2. 统一检查点：单个多任务检查点同时支持分类和回归任务。
3. 新型单元编码：
   • 使用学习的傅里叶特征和上下文ECDF（经验累积分布函数）秩。
   • ECDF 秩具有单调不变性，对日志缩放等变换鲁棒。
4. 极简预处理：移除了分位数变换、稳健缩放和 SVD 特征提取，真正实现了“原始数据输入”。
5. 规模扩展：支持最多 100 万行数据，推荐处理 6,000 个特征，最高支持 20,000 个。

模型家族与许可

⚠️ 许可警告：TabPFN-3.5 的开放权重仅限非商业用途（研究、评估、竞赛）。生产环境部署必须通过 Prior Labs 的 API 或购买商业许可证。