Making Knowledge Distillation Cheap Enough to Run at Scale

2026-08-20 · Hugging Face

让知识蒸馏足够廉价以实现规模化运行

知识蒸馏是指训练一个较小的学生模型,使其匹配更大教师模型性能的经典机器学习技术。随着gpt-oss、Qwen、GLM、Kimi等开源大语言模型的涌现,这一技术再次成为研究热点。

大模型部署成本高昂

部署这些超大规模模型代价高昂。例如最近的Kimi-K3模型拥有2.8万亿参数,仅加载权重就需要约3TB VRAM。因此,通过模型压缩后再用知识蒸馏恢复能力已成为行业标准。Nvidia发布的Nemotron 3 Puzzle 75B和Multiverse Computing发布的Hypernova 60B都是高质量压缩模型的代表。

传统蒸馏为何昂贵

蒸馏步骤对最终模型质量影响最大,但也是整个流程中最耗资源的环节。标准的在线蒸馏使用KL散度损失,需要同时将教师和学生模型加载在内存中。每个训练步中,教师都要完整前向传播生成整个词汇表的概率分布,学生则学习匹配该分布。

这种方式虽然能获得教师完整分布,但内存和算力需求极高。以gpt-oss-120b为例,其词汇量为201,088。在序列长度32K、批大小4的设定下,教师概率张量形状为4×201088×32768,bfloat16精度下单个张量已占用约50GB VRAM。加上梯度、激活、权重和优化器状态后,单次迭代峰值可达约250GB,远超H200(141GB)的容量。

论文中的图表显示,Dense KL会在训练中产生约250GB的内存尖峰,而融合分块损失则将峰值控制在约128GB。

两项核心系统改进

Multiverse Computing团队提出的论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》通过以下两个改动大幅降低了成本:

1. 离线Top-K Logits缓存

不再每次训练都重新运行教师模型,而是预先运行一次教师,缓存每个位置最可能的Top-100个token的logits。随后学生仅针对该缓存进行训练。这样教师模型在整个学生训练过程中无需驻留内存,同一个缓存还可重复用于多次实验和消融研究。

2. 融合分块KL损失

传统KL损失需要为词汇表中每个词和序列中每个位置都计算差异,形成一个巨大的二维网格。论文对比了三种数学等价的实现方式:

  • Dense KL:教科书式方法,从缓存的Top-100 logits重建完整的教师概率矩阵,再与学生的密集log-prob矩阵比较。虽然作为正确性基准,但需要两次保存完整的词汇表×序列长度矩阵,内存占用最大。
  • Forward-chunked KL:保持教师端稀疏(仅使用缓存的Top-100 logits),按序列分块计算损失,避免了密集教师矩阵,是三种方法中速度最快的。但学生自身的完整logits仍需计算并保留用于反向传播,序列变长时内存仍会显著增长。
  • Fused Chunked KL(主要贡献):将模型的输出投影层直接融合进损失计算流程。它完全不生成学生完整的logits矩阵,而是端到端地逐块处理序列:对当前chunk的隐藏状态投影得到logits,立即折叠进损失计算,然后丢弃该chunk,再处理下一个chunk。反向传播时按需重新计算每个chunk,避免了存储完整激活。

虽然这种方式需要将投影计算两次(一次前向,一次反向),但能将峰值内存大幅降低。

实际效果

这两项改进共同将蒸馏训练成本降低到可在单张GPU上完成长上下文修复的程度,也让大规模实验变得切实可行。相比默认的PyTorch或NVIDIA Megatron实现,新方法在内存效率上具有显著优势,为大模型压缩提供了更经济的路径。

原文链接