NVIDIA Kumo Tabular 為表格預測樹立了新的準確率與效率前沿
2026-09-30 · Hugging Face
NVIDIA Kumo Tabular:表格預測的新前沿
NVIDIA 推出了 Kumo Tabular,這是 NVIDIA Kumo Structured 模型集合中的一個開源表格基礎模型,現已上線 Hugging Face。該模型專為表格資料的分類和迴歸任務設計,能夠在無需訓練、微調或特徵工程的情況下,透過單次前向傳播預測新行的標籤。
表格基礎模型的轉變
表格資料是企業機器學習的核心,涵蓋客戶記錄、交易、感測器日誌等。過去二十年,梯度提升樹一直是該領域的主流,但每次新任務都需要從頭收集標籤、特徵工程和超引數搜尋。受大語言模型上下文學習的啟發,Kumo Tabular 透過在數百萬個表格上預訓練,能夠直接讀取帶標籤的表格作為上下文並預測新行標籤。
Kumo Tabular 的工作原理
Kumo Tabular 是基於表格結構構建的 Transformer 模型,結合了列注意力、行注意力和上下文注意力機制。其核心步驟包括:
- 單元格嵌入:將一組單元格轉換為 token。數值和類別特徵透過傅立葉特徵處理,缺失值無需填補而是進行特殊處理。上下文中的每個 token 會接收標籤嵌入。
- 行嵌入:透過交替使用列注意力和行注意力來生成行嵌入。列注意力向下檢視單列,瞭解值在列分佈中的意義,成本隨行數線性增長;行注意力則跨行檢視 token 互動,並使用旋轉位置區分列。四個可學習的 [CLS] token 作為行的最終輸出,使後續計算不再依賴列數。
- 上下文學習:最終的 Transformer 處理行嵌入。上下文行相互關注,查詢行僅關注上下文行。查詢行利用 Test-GQA 縮小快取,輸出類別機率或 999 個分位數以進行迴歸預測。
- 長度感知注意力溫度:隨著鍵數量的增加,Softmax 注意力容易分散。該模型透過一個隨鍵數量對數增長的溫度係數對查詢進行縮放,確保表格變長或變寬時注意力依然保持敏銳。
Kumo Tabular 的構建方式
Kumo Tabular 完全在人工合成的表格上進行預訓練。每個訓練表格均透過結構因果模型(SCM)取樣生成:
1. 首先抽取整個表格的配置,包括大小、任務型別、機制和缺失情況。
2. 隨機構建因果圖連線隱藏變數,並透過隨機抽取的函式(如線性對映、小型神經網路、樹或高斯過程)從根節點到葉節點進行評估。
3. 部分節點變為數值或類別列,一個節點成為目標,其餘保持隱藏,模擬真實資料背後的未測量原因。
該模型在 TabArena、BeyondArena、TALENT 和 ScoringBench 四個基準測試中均排名第一,採用 OpenMDW-1.1 許可證,支援商業用途。