GPU Management: Why Idle GPUs Are the New Grounded Aircraft

2026-08-20 · Hugging Face

GPU 管理:为什么闲置 GPU 是新的停飞飞机

利用率,而非智能,正成为 AI 发展的下一个真正约束。本文以航空业为镜,揭示了当前企业 AI 基础设施面临的核心问题。

航空业的历史教训

在航空业大部分历史中,预测一家航空公司能否生存的最重要指标,是每架飞机一天中在地面停留的时间。这并非偶然,而是由其经济结构决定的:

  • 成本按日历小时累积:融资、折旧、机身保险、计划维护、机组合同等,无论飞机是否飞行都在发生。
  • 收入仅在飞行小时产生:只有飞机在空中才能创造收益。
  • 地面上的每一小时都在压缩等式右侧的产出,而左侧的成本完全不受影响。

飞机利用率是几乎所有运营工作的下游结果,包括周转纪律、航线网络设计、维护规划、机组排班和备件可用性。无论其他环节做得有多好,低效的底层运营最终都会让飞机停在地面。

更大的机队当然有帮助,但两家机队规模和航线相近的航空公司,最终经济表现的巨大差异,往往更多源于利用率而非机队大小。

GPU 面临完全相同的经济结构

企业 AI 在 GPU 这一不同硬件上遇到了完全相同的结构性问题。GPU 同样按日历小时产生成本(融资、折旧、电力、冷却),无论它是否在执行有用计算。其产出仅在实际计算小时内累积。

更多 GPU 能提供真实容量优势,但两家 GPU 预算相近的公司,最终胜负越来越取决于这些硬件在任意时刻有多少比例在真正工作,而非它们各自拥有多少。这与航空公司的利用率一样,是公司几乎所有基础设施决策的下游体现。智能已带领行业走到今天,利用率正成为新的真正约束。

瓶颈从模型转向计算

AI 规模化过程中,稀缺性并未消失,只是向上游移动,落在了另一个资源上。

企业 AI 第一波竞争由模型质量主导。更大的模型、更多的训练计算、更严苛的基准测试——参数量和排行榜位置主导讨论,并催生出足以支撑真实企业工作负载的模型。然而,这些能力绑定了对专用硬件的依赖,而目前该硬件几乎全部是 GPU。

GPU 价格高昂、供应高度受限,需求远超可用量,即使顶级玩家也不例外。2020 年,微软为 OpenAI 打造了包含超过 1 万张 GPU 和 28.5 万个 CPU 核心的超级计算机,当时被视为全球五大系统之一,用于训练 GPT-3。这在当时看起来像是几乎不可想象的算力集中,似乎计算问题已被解决。

六年后的 2026 年,即使资金最雄厚的实验室仍将算力获取视为持续的战略约束。Anthropic 同时在亚马逊、谷歌、微软和 AMD 四个不同硬件平台上做出多吉瓦级承诺,Meta 也签署了同等规模的协议。在拥有 фактически 无限资本的情况下仍需分散至多个供应商,这正是计算稀缺性的真实写照。

从 API 到自有 GPU 基础设施

在实验室下游,通过 API 消费模型的企业面临的主要是定价问题。成本随 token 使用量线性增长,这让每月处理数千请求的概念验证显得便宜,但生产规模下可能变成难以承受的成本项。

因此,企业越来越多地选择采购自己的 GPU 并本地运行模型,将线性可变的 API 成本转变为固定的资本投入。超过盈亏平衡点后,经济性发生逆转。

这种转变让 GPU 成为基础设施,而非单纯费用。它必须按未来增长和需求峰值来规划,因此集群规模通常大于当前任意一周的实际需求。这意味着采购并未结束问题,而是开启了新问题。

硬件上线当天,问题从「我们能否获得加速器」变成了「我们能否让它们保持忙碌」。前者有明确的截止日期和采购团队负责,后者却悄无声息地决定整个交易是否值得。

这些巨额交易描述的是容量承诺,而非效率。容量最终被利用得如何,属于不同的人负责,衡量远不够严格,且距离真正解决还很遥远。

原文链接