Meta 攜 Muse Glimmer 迴歸:本地化、代理式、多模態、開源

2026-08-20 · Hugging Face

Meta 釋出 Muse Glimmer:30B 本地化代理式多模態開源模型

Meta 今日推出 Muse Glimmer,這是一款專為本地代理式(agentic)場景設計的多模態模型。該模型由 Muse 蒸餾而來,引數規模為 30B,採用 Apache 2.0 許可證完全開源,適合注重隱私保護、降低成本或本地實驗的開發者部署。

主要特點

  • 本地化部署:可在本地執行,保護使用者隱私並減少雲端成本
  • 代理式能力:針對個人助手、文件分析、程式碼代理等 agentic 任務最佳化
  • 多模態:支援影象和影片理解
  • 完全開源:Apache 2.0 許可

該模型特別適用於隱私敏感的應用場景,包括原生代碼助手、文件智慧分析以及類似 Claw 或 Hermes 的個人智慧體搭建。

基準測試表現

Muse Glimmer 在多個關鍵基準上展現出強勁效能,尤其在代理任務中顯著領先。

通用代理任務(General Agentic)

| 基準 | Muse Glimmer-30B | Gemma4-31B | Qwen3.6-27B |

|------|------------------|------------|-------------|

| MCP Atlas | 75.5 | 54.2 | 62.5 |

| DeepSearch QA | 74.6 | 61.7 | 71.1 |

| τ³-Banking | 23.5 | 15.1 | 16.7 |

| WildClawBench | 47.6 | 37.6 | 43.2 |

| GAIA2 | 43.3 | 36.4 | 40.0 |

代理編碼(Agentic Coding)

| 基準 | Muse Glimmer-30B | Gemma4-31B | Qwen3.6-27B |

|------|------------------|------------|-------------|

| SWE-Bench Pro | 51.2 | 36.9 | 50.2 |

| SWE-Bench Verified | 76.0 | 66.6 | 77.2 |

| TerminalBench 2.1 | 51.7 | 43.4 | 60.7 |

多模態理解

Muse Glimmer 在 Charxiv Reasoning(78.8)、ScreenSpot Pro(75.4)、OmniDocBench v1.5(75.8)和 MMMU Pro(74)上均達到較高水平。

在安全測試(CI Memories、Siren AgentDojo)中也展現出較好的平衡性。在通用推理基準如 AIME 2026(94.7)、GPQA Diamond(83.5)和 AA-LCR(80.0)上表現優異。

模型架構

Muse Glimmer 是一款稠密(dense)30B 引數模型,由以下兩部分組成:

  • 2B 引數 ViT-style Perception Encoder(視覺編碼器)
  • 28B 引數文字解碼器

此外,還提供一個基於 DFlash 實現的 speculative decoding drafter 模組。該模組為可選元件,可顯著加快生成速度,尤其適合程式碼等結構化內容生成,但會增加一定記憶體開銷。

文字解碼器架構

  • 混合注意力機制:共 52 層(13 個重複單元),每個單元包含三個滑動視窗注意力層(SWA,視窗大小 2048,使用 RoPE),後接一個使用 Full Attention + NoPE(無位置編碼)的層。模式為 `(SWA, SWA, SWA, Full)`。
  • Gated Grouped-Query Attention:每個 KV head 被 16 個 query head 共享,KV cache 記憶體減少 16 倍,加速生成。
  • Q-K 歸一化與額外 Query Scaling:在計算注意力前對 Query 和 Key 進行 RMSNorm,並對 Query 施加縮放因子,穩定 attention logits 並控制 softmax 溫度。

Perception Encoder(視覺編碼器)

這是 Meta 此前提出的 2B 引數大型視覺主幹,與其他 VLM 中常用的小型視覺編碼器不同。

  • 將影象 patchify 為 `2 frames × 3 channels × 14 × 14` 的形狀
  • 使用線性層投影后加入插值絕對位置編碼
  • 包含 50 層 Transformer 塊,使用 GELU MLP
  • 注意力模式同樣採用 `(Window Attention × 3, Full Attention)`,並使用 2D RoPE
  • 透過 pixel shuffle 將 2×2 相鄰空間 token 合併,減少 4 倍 token 數量
  • 最終投影至文字解碼器的共享嵌入空間

影片處理流程

影片按幀透過相同編碼器處理,處理器目標為 2 幀/秒,最多均勻取樣 96 幀。系統會建立帶時間戳的影片佔位符,例如:`Time: 0.0s <|video|> x N`,最終在投影層前替換為實際影片嵌入。

Hugging Face 生態支援

Meta 與 Hugging Face 合作,為 Muse Glimmer 提供了零日(day-0)支援。支援的推理框架包括:

  • transformers
  • llama.cpp
  • vLLM
  • Inference Endpoints

使用者只需升級 transformers 即可使用:


pip install --upgrade transformers accelerate

模型同時支援 `AutoModelForMultimodalLM` 和 `AutoProcessor`,主模型與 speculative decoding drafter 均可直接載入。

Muse Glimmer 已上線 Hugging Face Hub,開發者可立即下載並在本地部署體驗。

原文連結