相同叢集利用率提升33點:關鍵在於順序

2026-08-20 · Hugging Face

相同叢集利用率提升33點:關鍵在於順序

Dharma-AI團隊釋出了一篇技術文章,詳細介紹了他們開發的感知約束GPU分配器。該分配器在與傳統FIFO排程器的對比測試中,展現出顯著優勢:在完全相同的硬體和相同的工作負載下,GPU利用率最高提升33個百分點,優先順序加權輸出在所有測試場景中均實現提升,最高達105%。

文章強調,硬體和作業本身沒有任何變化,唯一改變的是分配決策的順序。

利用率而非智慧才是企業AI的真正瓶頸

前一篇文章提出,利用率而非模型智慧,才是企業AI正在形成的下一個真實約束。本文則給出了一個成熟GPU管理實踐的具體方案。

作者團隊構建了一個約束感知的GPU分配器,並在七個基準場景中與FIFO排程器進行了系統對比。所有結果均基於相同硬體、相同工作負載,唯一變數是排程策略。

> 注:所有提升資料均為相對同一場景下FIFO結果的改進。利用率以百分點為單位,價值以優先順序加權輸出的百分比提升表示。

決策的精確表述

“保持GPU忙碌”聽起來簡單,實際無法直接執行。真正的決策要窄得多也難得多:哪個GPU在哪個時間步執行哪個作業,按什麼優先順序執行。

形式化來看,這是在GPU、作業和時間步三維組合上的二元決策,最終輸出是一個網格——整個排程週期內每個GPU在每個時間步要麼填入作業名稱,要麼為空。

四類工作負載與兩種分配形狀

四種工作負載共同競爭這一網格:訓練、實時推理、批處理推理和量化。

它們可分為兩種 fundamentally 不相容的分配形狀:

  • 批處理型(訓練、批處理推理、量化):一旦啟動,就需要獲取一塊連續的GPU,並在整個作業期間不間斷持有直到完成。
  • 彈性型(實時推理):資源需求隨流量每時步動態變化,時增時減。

這兩種不相容形狀在同一時間步爭奪同一硬體,是核心難點。此外,即使在同一型別內部也存在異質性:同一基礎模型的訓練作業,時長可能從幾小時到數天,規模從單卡到數十卡不等。

FIFO排程器在資源競爭下的代價

基準對比物件是基於FIFO的排程器:實時推理使用固定預留,其他作業按到達順序放置,不考慮優先順序。

在叢集有充足餘量時,分配順序對利用率幾乎無影響。但一旦出現資源競爭,順序就從“無關緊要”變成“決定容量”的關鍵因素。

FIFO的代價體現在兩個相互疊加的維度:

1. 預留成本

實時推理無法等待容量,必須在流量需要時立即可用。按到達順序排程的系統沒有機制在低谷釋放GPU並在峰值前收回,因此唯一保障方式是按全天最大需求進行全天固定預留。

這導致非峰值時段大量GPU被無效佔用。在混合控制和訓練密集兩個場景中,基準利用率僅為51.6%和53.6%,接近叢集一半的資源處於“被預留但未使用”狀態。這種成本在叢集是否競爭時都存在,只是競爭讓它變得可見。

2. 順序成本

在真實競爭下,哪些作業最終能被放置,取決於放置順序而非單純的容量多少。順序不是容量決策之後的次要因素,而是容量決策本身。

FIFO按作業到達順序分配,不評估作業價值,也不檢視後續還有哪些作業需要在整個時間視窗內被容納,導致高優先順序工作被先到達的低優先順序作業阻塞,容量被次優方式佔用。

兩種成本相互強化:為全天峰值預留的GPU塊在每個小時都對批處理作業不可用,剩餘容量又按隨機到達順序被進一步分配。

文章將此比喻為航空公司按包機到達順序分配飛機,最終發現沒有飛機可飛真正高價值的固定航線。而那些為持續幾小時的峰值預留一整天的GPU,就像停在停機坪上、無法產生任何收益的飛機。

基準測試結果

在五個專門設計為高競爭的基準場景中,新分配器同時在兩個指標上取得提升:

  • 利用率從52–85%的區間提升至72–88%的區間
  • 優先順序加權價值提升24.6%至105.1%,平均提升52%

最突出的案例是一個8卡訓練密集工作負載:利用率從53.6%提升至87.0%,提升33.4個百分點;優先順序加權價值提升超過100%,達到105%。

這33個百分點來自兩方面:收回被固定預留的待機容量,並將剩餘容量按優先順序順序合理放置。

分配器如何消除上述行為

新分配器移除了FIFO的兩種主要缺陷。它不再將實時推理需求視為一個固定上限(ceiling),而是將其視為一條隨時間變化的需求曲線(curve),在每個時間步針對實際需求進行動態分配。

透過在分配時同時考慮優先順序、作業形狀相容性和未來時間視窗的整體可行性,該系統在不改變任何硬體或作業本身的情況下,顯著提升了叢集整體利用率和商業價值輸出。

文章結論清晰:在相同叢集上,決定利用率高低的關鍵,往往不是算力本身,而是分配的順序。

原文連結