发布 Olmo-core 3:面向大型 MoE 的开放、可扩展训练基础设施

2026-10-02 · Hugging Face

发布 Olmo-core 3:面向大型 MoE 的开放、可扩展训练基础设施

概述

Ai2 发布了 Olmo-core 3,这是其大语言模型开发框架的重大升级,采用重新设计的开放混合专家(MoE)训练系统。该系统旨在将 MoE 训练扩展至万亿参数级别,同时保持计算效率。它是下一代 Olmo 模型背后的核心系统之一,也是 Ai2 持续开放每个新模型背后工具和训练基础设施承诺的一部分。

MoE 训练的挑战

训练大型 AI 模型需要大量计算资源,推高了成本和能耗,使许多学术研究人员和较小实验室难以开展先进模型开发。MoE 模型提供了更高效的方案——它们可以包含更多学习组件(参数),而无需每个输入都使用所有参数。但完整模型仍需存储在 GPU 内存中并在训练期间更新,且在集群中将输入引导至正确的专家(MoE 中的专门组件)会产生额外的通信和协调成本。随着 MoE 规模增长,这些成本可能削弱仅使用部分模型处理每个输入所带来的计算优势。

在一项基准测试中,Olmo-core 3 将专家池从 8 个增加到 128 个,同时每个 token 仍仅选择四个专家,保持每个 token 的活跃参数约 3.2B。总参数容量从 4.6B 增长到 47B,而训练吞吐量下降不到 5%。同一基础设施已在超过一万亿总参数的规模上完成基准测试。

围绕 MoE 实际工作方式构建训练栈

Olmo-core 随每代 Olmo 演进。Ai2 对稀疏模型的研究可追溯至 OlmoE,它使用了具有 64 个路由专家的 MoE 架构。Olmo 3 则采用了密集架构,几乎所有模型对每个 token 都处于活跃状态,其训练栈围绕该设计构建。Olmo-core 3 扩展了该框架,引入了为更大 MoE 模型设计的训练系统。

此前的 MoE 实现使用完全分片数据并行(FSDP),配置为为每小批训练数据收集和重新分片模型权重。Olmo-core 3 切换到基于分布式数据并行(DDP)的系统,将专家常驻于 GPU 上并将相关数据路由到它们,避免了重复的权重收集。

在八块 NVIDIA B300 GPU 上的初步测试中,470 亿参数 MoE 使用新栈每 GPU 每秒处理 52,000 个 token,而使用此前实现为 19,400 个——吞吐量约为 2.7 倍。

扩展和优化 MoE 训练

Olmo-core 3 结合了多种技术来在 GPU 集群上分布大型 MoE,并优化路由和计算效率。

三种分布技术

  • 专家并行:将专家分布在各 GPU 上,每个 GPU 仅存储完整专家池的一部分。
  • 流水线并行:将模型层(转换输入的连续阶段)分布在 GPU 组之间,减少每个 GPU 需要在内存中保留的模型量。
  • 分布式优化器:将优化器状态(训练期间用于计算和应用更新的附加数据)分布在各 GPU 上,而非在每个 GPU 上存储完整副本。

路由和计算优化

  • 行级专家并行:将路由数据直接放入专家输入缓冲区,最小化重新排列所需的额外工作。
  • GPU 常驻路由:将路由元数据保留在 GPU 上,使 CPU 可以排队工作而无需等待信息复制回来。
  • 分组 GEMM:将许多小的专家计算组合在一起,使 GPU 能更高效地执行。

MXFP8 支持

Olmo-core 3 支持 MXFP8 低精度数字格式,可以用更少位数表示某些值,从而减少计算和 GPU 间数据传输量。在四块 NVIDIA B300 GPU 上的受控基准测试中,启用 MXFP8 后训练吞吐量比 BF16 基线高约 21%,峰值活跃显存从 103 GiB 降至 95 GiB。大部分增益来自前馈计算和专家间数据传输,而非注意力机制。

这些技术和优化必须协同工作。加速训练的某一部分可能在其他方面产生成本;更快的计算可能需要更多数据传输,而如果数据格式转换耗时过长,移动更少位数可能无济于事。Olmo-core 3 围绕整个训练过程中的这些权衡进行构建,为研究人员提供了对各组件如何协同的控制能力。

原文链接