NVIDIA Kumo Tabular 为表格预测树立了新的准确率与效率前沿

2026-09-30 · Hugging Face

NVIDIA Kumo Tabular:表格预测的新前沿

NVIDIA 推出了 Kumo Tabular,这是 NVIDIA Kumo Structured 模型集合中的一个开源表格基础模型,现已上线 Hugging Face。该模型专为表格数据的分类和回归任务设计,能够在无需训练、微调或特征工程的情况下,通过单次前向传播预测新行的标签。

表格基础模型的转变

表格数据是企业机器学习的核心,涵盖客户记录、交易、传感器日志等。过去二十年,梯度提升树一直是该领域的主流,但每次新任务都需要从头收集标签、特征工程和超参数搜索。受大语言模型上下文学习的启发,Kumo Tabular 通过在数百万个表格上预训练,能够直接读取带标签的表格作为上下文并预测新行标签。

Kumo Tabular 的工作原理

Kumo Tabular 是基于表格结构构建的 Transformer 模型,结合了列注意力、行注意力和上下文注意力机制。其核心步骤包括:

  • 单元格嵌入:将一组单元格转换为 token。数值和类别特征通过傅里叶特征处理,缺失值无需填补而是进行特殊处理。上下文中的每个 token 会接收标签嵌入。
  • 行嵌入:通过交替使用列注意力和行注意力来生成行嵌入。列注意力向下查看单列,了解值在列分布中的意义,成本随行数线性增长;行注意力则跨行查看 token 交互,并使用旋转位置区分列。四个可学习的 [CLS] token 作为行的最终输出,使后续计算不再依赖列数。
  • 上下文学习:最终的 Transformer 处理行嵌入。上下文行相互关注,查询行仅关注上下文行。查询行利用 Test-GQA 缩小缓存,输出类别概率或 999 个分位数以进行回归预测。
  • 长度感知注意力温度:随着键数量的增加,Softmax 注意力容易分散。该模型通过一个随键数量对数增长的温度系数对查询进行缩放,确保表格变长或变宽时注意力依然保持敏锐。

Kumo Tabular 的构建方式

Kumo Tabular 完全在人工合成的表格上进行预训练。每个训练表格均通过结构因果模型(SCM)采样生成:

1. 首先抽取整个表格的配置,包括大小、任务类型、机制和缺失情况。

2. 随机构建因果图连接隐藏变量,并通过随机抽取的函数(如线性映射、小型神经网络、树或高斯过程)从根节点到叶节点进行评估。

3. 部分节点变为数值或类别列,一个节点成为目标,其余保持隐藏,模拟真实数据背后的未测量原因。

该模型在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准测试中均排名第一,采用 OpenMDW-1.1 许可证,支持商业用途。

原文链接