Making Knowledge Distillation Cheap Enough to Run at Scale
2026-08-20 · Hugging Face
讓知識蒸餾足夠廉價以實現規模化執行
知識蒸餾是指訓練一個較小的學生模型,使其匹配更大教師模型效能的經典機器學習技術。隨著gpt-oss、Qwen、GLM、Kimi等開源大語言模型的湧現,這一技術再次成為研究熱點。
大模型部署成本高昂
部署這些超大規模模型代價高昂。例如最近的Kimi-K3模型擁有2.8萬億引數,僅載入權重就需要約3TB VRAM。因此,透過模型壓縮後再用知識蒸餾恢復能力已成為行業標準。Nvidia釋出的Nemotron 3 Puzzle 75B和Multiverse Computing釋出的Hypernova 60B都是高質量壓縮模型的代表。
傳統蒸餾為何昂貴
蒸餾步驟對最終模型質量影響最大,但也是整個流程中最耗資源的環節。標準的線上蒸餾使用KL散度損失,需要同時將教師和學生模型載入在記憶體中。每個訓練步中,教師都要完整前向傳播生成整個詞彙表的機率分佈,學生則學習匹配該分佈。
這種方式雖然能獲得教師完整分佈,但記憶體和算力需求極高。以gpt-oss-120b為例,其詞彙量為201,088。在序列長度32K、批大小4的設定下,教師機率張量形狀為4×201088×32768,bfloat16精度下單個張量已佔用約50GB VRAM。加上梯度、啟用、權重和最佳化器狀態後,單次迭代峰值可達約250GB,遠超H200(141GB)的容量。
論文中的圖表顯示,Dense KL會在訓練中產生約250GB的記憶體尖峰,而融合分塊損失則將峰值控制在約128GB。
兩項核心系統改進
Multiverse Computing團隊提出的論文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》透過以下兩個改動大幅降低了成本:
1. 離線Top-K Logits快取
不再每次訓練都重新執行教師模型,而是預先執行一次教師,快取每個位置最可能的Top-100個token的logits。隨後學生僅針對該快取進行訓練。這樣教師模型在整個學生訓練過程中無需駐留記憶體,同一個快取還可重複用於多次實驗和消融研究。
2. 融合分塊KL損失
傳統KL損失需要為詞彙表中每個詞和序列中每個位置都計算差異,形成一個巨大的二維網格。論文對比了三種數學等價的實現方式:
- Dense KL:教科書式方法,從快取的Top-100 logits重建完整的教師機率矩陣,再與學生的密集log-prob矩陣比較。雖然作為正確性基準,但需要兩次儲存完整的詞彙表×序列長度矩陣,記憶體佔用最大。
- Forward-chunked KL:保持教師端稀疏(僅使用快取的Top-100 logits),按序列分塊計算損失,避免了密集教師矩陣,是三種方法中速度最快的。但學生自身的完整logits仍需計算並保留用於反向傳播,序列變長時記憶體仍會顯著增長。
- Fused Chunked KL(主要貢獻):將模型的輸出投影層直接融合進損失計算流程。它完全不生成學生完整的logits矩陣,而是端到端地逐塊處理序列:對當前chunk的隱藏狀態投影得到logits,立即摺疊進損失計算,然後丟棄該chunk,再處理下一個chunk。反向傳播時按需重新計算每個chunk,避免了儲存完整啟用。
雖然這種方式需要將投影計算兩次(一次前向,一次反向),但能將峰值記憶體大幅降低。
實際效果
這兩項改進共同將蒸餾訓練成本降低到可在單張GPU上完成長上下文修復的程度,也讓大規模實驗變得切實可行。相比預設的PyTorch或NVIDIA Megatron實現,新方法在記憶體效率上具有顯著優勢,為大模型壓縮提供了更經濟的路徑。