相同集群利用率提升33点:关键在于顺序

2026-08-20 · Hugging Face

相同集群利用率提升33点:关键在于顺序

Dharma-AI团队发布了一篇技术文章,详细介绍了他们开发的感知约束GPU分配器。该分配器在与传统FIFO调度器的对比测试中,展现出显著优势:在完全相同的硬件和相同的工作负载下,GPU利用率最高提升33个百分点,优先级加权输出在所有测试场景中均实现提升,最高达105%。

文章强调,硬件和作业本身没有任何变化,唯一改变的是分配决策的顺序。

利用率而非智能才是企业AI的真正瓶颈

前一篇文章提出,利用率而非模型智能,才是企业AI正在形成的下一个真实约束。本文则给出了一个成熟GPU管理实践的具体方案。

作者团队构建了一个约束感知的GPU分配器,并在七个基准场景中与FIFO调度器进行了系统对比。所有结果均基于相同硬件、相同工作负载,唯一变量是调度策略。

> 注:所有提升数据均为相对同一场景下FIFO结果的改进。利用率以百分点为单位,价值以优先级加权输出的百分比提升表示。

决策的精确表述

“保持GPU忙碌”听起来简单,实际无法直接执行。真正的决策要窄得多也难得多:哪个GPU在哪个时间步运行哪个作业,按什么优先级运行。

形式化来看,这是在GPU、作业和时间步三维组合上的二元决策,最终输出是一个网格——整个调度周期内每个GPU在每个时间步要么填入作业名称,要么为空。

四类工作负载与两种分配形状

四种工作负载共同竞争这一网格:训练、实时推理、批处理推理和量化。

它们可分为两种 fundamentally 不兼容的分配形状:

  • 批处理型(训练、批处理推理、量化):一旦启动,就需要获取一块连续的GPU,并在整个作业期间不间断持有直到完成。
  • 弹性型(实时推理):资源需求随流量每时步动态变化,时增时减。

这两种不兼容形状在同一时间步争夺同一硬件,是核心难点。此外,即使在同一类型内部也存在异质性:同一基础模型的训练作业,时长可能从几小时到数天,规模从单卡到数十卡不等。

FIFO调度器在资源竞争下的代价

基准对比对象是基于FIFO的调度器:实时推理使用固定预留,其他作业按到达顺序放置,不考虑优先级。

在集群有充足余量时,分配顺序对利用率几乎无影响。但一旦出现资源竞争,顺序就从“无关紧要”变成“决定容量”的关键因素。

FIFO的代价体现在两个相互叠加的维度:

1. 预留成本

实时推理无法等待容量,必须在流量需要时立即可用。按到达顺序调度的系统没有机制在低谷释放GPU并在峰值前收回,因此唯一保障方式是按全天最大需求进行全天固定预留。

这导致非峰值时段大量GPU被无效占用。在混合控制和训练密集两个场景中,基准利用率仅为51.6%和53.6%,接近集群一半的资源处于“被预留但未使用”状态。这种成本在集群是否竞争时都存在,只是竞争让它变得可见。

2. 顺序成本

在真实竞争下,哪些作业最终能被放置,取决于放置顺序而非单纯的容量多少。顺序不是容量决策之后的次要因素,而是容量决策本身。

FIFO按作业到达顺序分配,不评估作业价值,也不查看后续还有哪些作业需要在整个时间窗口内被容纳,导致高优先级工作被先到达的低优先级作业阻塞,容量被次优方式占用。

两种成本相互强化:为全天峰值预留的GPU块在每个小时都对批处理作业不可用,剩余容量又按随机到达顺序被进一步分配。

文章将此比喻为航空公司按包机到达顺序分配飞机,最终发现没有飞机可飞真正高价值的固定航线。而那些为持续几小时的峰值预留一整天的GPU,就像停在停机坪上、无法产生任何收益的飞机。

基准测试结果

在五个专门设计为高竞争的基准场景中,新分配器同时在两个指标上取得提升:

  • 利用率从52–85%的区间提升至72–88%的区间
  • 优先级加权价值提升24.6%至105.1%,平均提升52%

最突出的案例是一个8卡训练密集工作负载:利用率从53.6%提升至87.0%,提升33.4个百分点;优先级加权价值提升超过100%,达到105%。

这33个百分点来自两方面:收回被固定预留的待机容量,并将剩余容量按优先级顺序合理放置。

分配器如何消除上述行为

新分配器移除了FIFO的两种主要缺陷。它不再将实时推理需求视为一个固定上限(ceiling),而是将其视为一条随时间变化的需求曲线(curve),在每个时间步针对实际需求进行动态分配。

通过在分配时同时考虑优先级、作业形状兼容性和未来时间窗口的整体可行性,该系统在不改变任何硬件或作业本身的情况下,显著提升了集群整体利用率和商业价值输出。

文章结论清晰:在相同集群上,决定利用率高低的关键,往往不是算力本身,而是分配的顺序。

原文链接