GPU Management: Why Idle GPUs Are the New Grounded Aircraft

2026-08-20 · Hugging Face

GPU 管理:為什麼閒置 GPU 是新的停飛飛機

利用率,而非智慧,正成為 AI 發展的下一個真正約束。本文以航空業為鏡,揭示了當前企業 AI 基礎設施面臨的核心問題。

航空業的歷史教訓

在航空業大部分歷史中,預測一家航空公司能否生存的最重要指標,是每架飛機一天中在地面停留的時間。這並非偶然,而是由其經濟結構決定的:

  • 成本按日曆小時累積:融資、折舊、機身保險、計劃維護、機組合同等,無論飛機是否飛行都在發生。
  • 收入僅在飛行小時產生:只有飛機在空中才能創造收益。
  • 地面上的每一小時都在壓縮等式右側的產出,而左側的成本完全不受影響。

飛機利用率是幾乎所有運營工作的下游結果,包括週轉紀律、航線網路設計、維護規劃、機組排班和備件可用性。無論其他環節做得有多好,低效的底層運營最終都會讓飛機停在地面。

更大的機隊當然有幫助,但兩家機隊規模和航線相近的航空公司,最終經濟表現的巨大差異,往往更多源於利用率而非機隊大小。

GPU 面臨完全相同的經濟結構

企業 AI 在 GPU 這一不同硬體上遇到了完全相同的結構性問題。GPU 同樣按日曆小時產生成本(融資、折舊、電力、冷卻),無論它是否在執行有用計算。其產出僅在實際計算小時內累積。

更多 GPU 能提供真實容量優勢,但兩家 GPU 預算相近的公司,最終勝負越來越取決於這些硬體在任意時刻有多少比例在真正工作,而非它們各自擁有多少。這與航空公司的利用率一樣,是公司幾乎所有基礎設施決策的下游體現。智慧已帶領行業走到今天,利用率正成為新的真正約束。

瓶頸從模型轉向計算

AI 規模化過程中,稀缺性並未消失,只是向上遊移動,落在了另一個資源上。

企業 AI 第一波競爭由模型質量主導。更大的模型、更多的訓練計算、更嚴苛的基準測試——引數量和排行榜位置主導討論,並催生出足以支撐真實企業工作負載的模型。然而,這些能力繫結了對專用硬體的依賴,而目前該硬體幾乎全部是 GPU。

GPU 價格高昂、供應高度受限,需求遠超可用量,即使頂級玩家也不例外。2020 年,微軟為 OpenAI 打造了包含超過 1 萬張 GPU 和 28.5 萬個 CPU 核心的超級計算機,當時被視為全球五大系統之一,用於訓練 GPT-3。這在當時看起來像是幾乎不可想象的算力集中,似乎計算問題已被解決。

六年後的 2026 年,即使資金最雄厚的實驗室仍將算力獲取視為持續的戰略約束。Anthropic 同時在亞馬遜、谷歌、微軟和 AMD 四個不同硬體平臺上做出多吉瓦級承諾,Meta 也簽署了同等規模的協議。在擁有 фактически 無限資本的情況下仍需分散至多個供應商,這正是計算稀缺性的真實寫照。

從 API 到自有 GPU 基礎設施

在實驗室下游,透過 API 消費模型的企業面臨的主要是定價問題。成本隨 token 使用量線性增長,這讓每月處理數千請求的概念驗證顯得便宜,但生產規模下可能變成難以承受的成本項。

因此,企業越來越多地選擇採購自己的 GPU 並本地執行模型,將線性可變的 API 成本轉變為固定的資本投入。超過盈虧平衡點後,經濟性發生逆轉。

這種轉變讓 GPU 成為基礎設施,而非單純費用。它必須按未來增長和需求峰值來規劃,因此叢集規模通常大於當前任意一週的實際需求。這意味著採購並未結束問題,而是開啟了新問題。

硬體上線當天,問題從「我們能否獲得加速器」變成了「我們能否讓它們保持忙碌」。前者有明確的截止日期和採購團隊負責,後者卻悄無聲息地決定整個交易是否值得。

這些鉅額交易描述的是容量承諾,而非效率。容量最終被利用得如何,屬於不同的人負責,衡量遠不夠嚴格,且距離真正解決還很遙遠。

原文連結