釋出 Olmo-core 3:面向大型 MoE 的開放、可擴充套件訓練基礎設施

2026-10-02 · Hugging Face

釋出 Olmo-core 3:面向大型 MoE 的開放、可擴充套件訓練基礎設施

概述

Ai2 釋出了 Olmo-core 3,這是其大語言模型開發框架的重大升級,採用重新設計的開放混合專家(MoE)訓練系統。該系統旨在將 MoE 訓練擴充套件至萬億引數級別,同時保持計算效率。它是下一代 Olmo 模型背後的核心繫統之一,也是 Ai2 持續開放每個新模型背後工具和訓練基礎設施承諾的一部分。

MoE 訓練的挑戰

訓練大型 AI 模型需要大量計算資源,推高了成本和能耗,使許多學術研究人員和較小實驗室難以開展先進模型開發。MoE 模型提供了更高效的方案——它們可以包含更多學習元件(引數),而無需每個輸入都使用所有引數。但完整模型仍需儲存在 GPU 記憶體中並在訓練期間更新,且在叢集中將輸入引導至正確的專家(MoE 中的專門元件)會產生額外的通訊和協調成本。隨著 MoE 規模增長,這些成本可能削弱僅使用部分模型處理每個輸入所帶來的計算優勢。

在一項基準測試中,Olmo-core 3 將專家池從 8 個增加到 128 個,同時每個 token 仍僅選擇四個專家,保持每個 token 的活躍引數約 3.2B。總引數容量從 4.6B 增長到 47B,而訓練吞吐量下降不到 5%。同一基礎設施已在超過一萬億總引數的規模上完成基準測試。

圍繞 MoE 實際工作方式構建訓練棧

Olmo-core 隨每代 Olmo 演進。Ai2 對稀疏模型的研究可追溯至 OlmoE,它使用了具有 64 個路由專家的 MoE 架構。Olmo 3 則採用了密集架構,幾乎所有模型對每個 token 都處於活躍狀態,其訓練棧圍繞該設計構建。Olmo-core 3 擴充套件了該框架,引入了為更大 MoE 模型設計的訓練系統。

此前的 MoE 實現使用完全分片資料並行(FSDP),配置為為每小批訓練資料收集和重新分片模型權重。Olmo-core 3 切換到基於分散式資料並行(DDP)的系統,將專家常駐於 GPU 上並將相關資料路由到它們,避免了重複的權重收集。

在八塊 NVIDIA B300 GPU 上的初步測試中,470 億引數 MoE 使用新棧每 GPU 每秒處理 52,000 個 token,而使用此前實現為 19,400 個——吞吐量約為 2.7 倍。

擴充套件和最佳化 MoE 訓練

Olmo-core 3 結合了多種技術來在 GPU 叢集上分佈大型 MoE,並最佳化路由和計算效率。

三種分佈技術

  • 專家並行:將專家分佈在各 GPU 上,每個 GPU 僅儲存完整專家池的一部分。
  • 流水線並行:將模型層(轉換輸入的連續階段)分佈在 GPU 組之間,減少每個 GPU 需要在記憶體中保留的模型量。
  • 分散式最佳化器:將最佳化器狀態(訓練期間用於計算和應用更新的附加資料)分佈在各 GPU 上,而非在每個 GPU 上儲存完整副本。

路由和計算最佳化

  • 行級專家並行:將路由資料直接放入專家輸入緩衝區,最小化重新排列所需的額外工作。
  • GPU 常駐路由:將路由後設資料保留在 GPU 上,使 CPU 可以排隊工作而無需等待資訊複製回來。
  • 分組 GEMM:將許多小的專家計算組合在一起,使 GPU 能更高效地執行。

MXFP8 支援

Olmo-core 3 支援 MXFP8 低精度數字格式,可以用更少位數表示某些值,從而減少計算和 GPU 間資料傳輸量。在四塊 NVIDIA B300 GPU 上的受控基準測試中,啟用 MXFP8 後訓練吞吐量比 BF16 基線高約 21%,峰值活躍視訊記憶體從 103 GiB 降至 95 GiB。大部分增益來自前饋計算和專家間資料傳輸,而非注意力機制。

這些技術和最佳化必須協同工作。加速訓練的某一部分可能在其他方面產生成本;更快的計算可能需要更多資料傳輸,而如果資料格式轉換耗時過長,移動更少位數可能無濟於事。Olmo-core 3 圍繞整個訓練過程中的這些權衡進行構建,為研究人員提供了對各元件如何協同的控制能力。

原文連結