英伟达发布表格基础模型Kumo Tabular：单次前向传播完成预测，支持商用

英伟达正式推出 Kumo Tabular表格基础模型（TFM），面向表格数据的分类与回归任务，和TabPFN、TabICL思路相近：直接把带标签的行作为上下文，单次前向传播即可预测新数据行，无需额外训练、超参调优与人工特征工程。

• GitHub：https://github.com/NVIDIA/structured-data-models
• 模型：https://huggingface.co/nvidia/Kumo-Tabular

模型提供 Small / Medium / Large 三个版本，参数量区间约2800万～2.15亿，依托英伟达开源的 structured-data-models（SDM） GPU原生结构化数据库运行。模型权重采用OpenMDW-1.1许可证，允许商业使用；SDM代码为Apache-2.0协议，运行环境要求Python3.11+、PyTorch2.7+，示例面向CUDA GPU。

SDM库能力

SDM是GPU原生的结构化数据基础模型与预处理工具库，除Kumo Tabular之外，内置TabICLv2、Google TabFM，还有处理多表关联数据的KumoRelational。所有模型统一基于TableTensor容器，共用一套上下文学习接口，自动完成预处理、模型集成、多分类预测。

工作原理

Kumo Tabular是专为表格结构设计的Transformer，融合列、行、上下文注意力机制，整体分为三阶段：

1. 单元格嵌入：数值、分类类型采用带学习傅里叶特征的独立权重，缺失值不用额外填充；
2. 行嵌入：列注意力使用诱导自注意力，算力随行数线性增长；带旋转位置编码的行注意力学习特征交互，4个可学习CLS token压缩单行信息；
3. 上下文学习：Transformer作用在行嵌入上。上下文样本互相做注意力，待查询行仅读取上下文信息；上下文的键值只计算一次并复用，输出类别概率，或回归任务的999个分位数，同时给出预测结果与不确定性估计。

针对长表格注意力稀释问题，模型采用随键数量对数缩放的温度系数，由注意力头自主学习，保证大表格场景下注意力依旧聚焦。

训练方式

Kumo Tabular完全基于人工合成表格数据集预训练，数据由结构因果模型SCM采样生成。随机因果图通过线性映射、小型神经网络、树模型、高斯过程关联隐变量；生成器主动加入真实世界常见噪声：缺失值、高基数类别、重尾目标、冲突重复行。

训练分为三阶段，上下文行数从1024逐步扩充至60000，最多支持100列。三个版本各自学习数千万人工表格；分类、回归模型分开训练。英伟达表示训练配方与数据生成器后续将会开源。

基准评测

默认配置下，Kumo Tabular 在 TabArena 取得Elo 1950，总排名第一；单张RTX 6000 Pro上推理速度比LimiX-2快17倍。三个尺寸版本全部落在准确率与推理速度的帕累托最优前沿。

• BeyondArena：第一名，Elo 1418，可提升分数7.78%
• TALENT：综合排名最高
• ScoringBench：Large、Medium版本分别位列第一、第二

和同类模型对比亮点

核心差异化是许可证：TabPFN-3、LimiX-2、TabFM权重都附带非商用限制；Kumo Tabular与TabICLv2支持商用，同时Kumo Tabular在英伟达给出的基准测试中性能领先。

要点总结

1. 能力特性：上下文学习，单次前向传播预测表格新行，无需训练、特征工程；
2. 模型规格：28M~215M三档，纯人工合成表格预训练；
3. 性能表现：多个表格数据集基准登顶，GPU推理速度优势明显；
4. 授权优势：OpenMDW-1.1，权重允许商用；
5. 配套生态：依托SDM库，和TabICLv2、TabFM、KumoRelational共用同一套结构化数据框架。