Meta 携 Muse Glimmer 回归:本地化、代理式、多模态、开源
2026-08-20 · Hugging Face
Meta 发布 Muse Glimmer:30B 本地化代理式多模态开源模型
Meta 今日推出 Muse Glimmer,这是一款专为本地代理式(agentic)场景设计的多模态模型。该模型由 Muse 蒸馏而来,参数规模为 30B,采用 Apache 2.0 许可证完全开源,适合注重隐私保护、降低成本或本地实验的开发者部署。
主要特点
- 本地化部署:可在本地运行,保护用户隐私并减少云端成本
- 代理式能力:针对个人助手、文档分析、代码代理等 agentic 任务优化
- 多模态:支持图像和视频理解
- 完全开源:Apache 2.0 许可
该模型特别适用于隐私敏感的应用场景,包括本地代码助手、文档智能分析以及类似 Claw 或 Hermes 的个人智能体搭建。
基准测试表现
Muse Glimmer 在多个关键基准上展现出强劲性能,尤其在代理任务中显著领先。
通用代理任务(General Agentic)
| 基准 | Muse Glimmer-30B | Gemma4-31B | Qwen3.6-27B |
|------|------------------|------------|-------------|
| MCP Atlas | 75.5 | 54.2 | 62.5 |
| DeepSearch QA | 74.6 | 61.7 | 71.1 |
| τ³-Banking | 23.5 | 15.1 | 16.7 |
| WildClawBench | 47.6 | 37.6 | 43.2 |
| GAIA2 | 43.3 | 36.4 | 40.0 |
代理编码(Agentic Coding)
| 基准 | Muse Glimmer-30B | Gemma4-31B | Qwen3.6-27B |
|------|------------------|------------|-------------|
| SWE-Bench Pro | 51.2 | 36.9 | 50.2 |
| SWE-Bench Verified | 76.0 | 66.6 | 77.2 |
| TerminalBench 2.1 | 51.7 | 43.4 | 60.7 |
多模态理解
Muse Glimmer 在 Charxiv Reasoning(78.8)、ScreenSpot Pro(75.4)、OmniDocBench v1.5(75.8)和 MMMU Pro(74)上均达到较高水平。
在安全测试(CI Memories、Siren AgentDojo)中也展现出较好的平衡性。在通用推理基准如 AIME 2026(94.7)、GPQA Diamond(83.5)和 AA-LCR(80.0)上表现优异。
模型架构
Muse Glimmer 是一款稠密(dense)30B 参数模型,由以下两部分组成:
- 2B 参数 ViT-style Perception Encoder(视觉编码器)
- 28B 参数文本解码器
此外,还提供一个基于 DFlash 实现的 speculative decoding drafter 模块。该模块为可选组件,可显著加快生成速度,尤其适合代码等结构化内容生成,但会增加一定内存开销。
文本解码器架构
- 混合注意力机制:共 52 层(13 个重复单元),每个单元包含三个滑动窗口注意力层(SWA,窗口大小 2048,使用 RoPE),后接一个使用 Full Attention + NoPE(无位置编码)的层。模式为 `(SWA, SWA, SWA, Full)`。
- Gated Grouped-Query Attention:每个 KV head 被 16 个 query head 共享,KV cache 内存减少 16 倍,加速生成。
- Q-K 归一化与额外 Query Scaling:在计算注意力前对 Query 和 Key 进行 RMSNorm,并对 Query 施加缩放因子,稳定 attention logits 并控制 softmax 温度。
Perception Encoder(视觉编码器)
这是 Meta 此前提出的 2B 参数大型视觉主干,与其他 VLM 中常用的小型视觉编码器不同。
- 将图像 patchify 为 `2 frames × 3 channels × 14 × 14` 的形状
- 使用线性层投影后加入插值绝对位置编码
- 包含 50 层 Transformer 块,使用 GELU MLP
- 注意力模式同样采用 `(Window Attention × 3, Full Attention)`,并使用 2D RoPE
- 通过 pixel shuffle 将 2×2 相邻空间 token 合并,减少 4 倍 token 数量
- 最终投影至文本解码器的共享嵌入空间
视频处理流程
视频按帧通过相同编码器处理,处理器目标为 2 帧/秒,最多均匀采样 96 帧。系统会创建带时间戳的视频占位符,例如:`Time: 0.0s <|video|> x N`,最终在投影层前替换为实际视频嵌入。
Hugging Face 生态支持
Meta 与 Hugging Face 合作,为 Muse Glimmer 提供了零日(day-0)支持。支持的推理框架包括:
- transformers
- llama.cpp
- vLLM
- Inference Endpoints
用户只需升级 transformers 即可使用:
pip install --upgrade transformers accelerate
模型同时支持 `AutoModelForMultimodalLM` 和 `AutoProcessor`,主模型与 speculative decoding drafter 均可直接加载。
Muse Glimmer 已上线 Hugging Face Hub,开发者可立即下载并在本地部署体验。