Deploy local agents everywhere with LFM2.5-2.6B
2026-08-20 · Hugging Face
LFM2.5-2.6B:隨處部署本地智慧體
Liquid AI 推出了 LFM2.5-2.6B,這是一款專為在裝置端執行高效能智慧體而設計的 2.6B 引數模型。它能夠在膝上型電腦到智慧手機等日常硬體上完全本地部署,支援工具呼叫和多步工作流,同時體積小、速度快,適合大規模部署。
核心優勢
- 最佳級別智慧體效能:在工具使用、指令遵循和多步智慧體任務上,與引數量為其 4 倍的模型具有競爭力。
- Agentic 強化學習:在主流智慧體 Harness 中進行訓練,提升相容性。
- 高效推理:在 Apple M5 Max 上達到 220 tok/s,在 AMD Ryzen CPU 上達到 113 tok/s,記憶體佔用低於 2.5GB。
這些特性使得開發者可以在任意位置部署智慧體、保護資料本地隱私,並避免雲端推理費用。
模型構建過程
LFM2.5-2.6B 在約 34T tokens 上進行預訓練,中訓階段將上下文視窗擴充套件至 128K。隨後透過四個後訓練階段將其轉化為可靠的智慧體模型:
1. 監督微調(SFT):進行兩輪 SFT, heavily 側重工具使用、網路搜尋和 Harness 軌跡等智慧體資料。
2. 教師專精(Teacher Specialization):為數學、程式碼、工具使用等不同領域分別訓練一個專精教師模型。
3. 多領域線上策略蒸餾(MOPD):將多個專精教師的知識蒸餾到一個單一學生模型中。
4. Agentic 強化學習(Agentic RL):在真實智慧體 Harness 中執行多輪 RL,讓模型學會在不同工具、系統提示和多輪任務環境中工作。
Agentic RL 訓練流水線
該流水線將模型最佳化、推理和環境執行分離為不同元件:
- Training Engine:負責模型最佳化。
- Rollout Engine:使用最新策略生成動作。
- RL Framework:協調訓練迴圈,啟動 rollout、收集軌跡和獎勵,並更新模型。
動作在 Sandbox Service 中執行,其中 Blackbox Harness(如 OpenClaw 或 Hermes Agent)託管智慧體並協調與任務環境的互動。Harness Proxy 允許將智慧體 Harness 視為黑盒,無需修改即可透明地捕獲 token 級軌跡,用於重建和驗證 RL 訓練樣本。
基準測試結果
LFM2.5-2.6B 在 STEM、指令遵循、工具使用和智慧體任務上與最高達其 4 倍大小的模型進行了對比。儘管是組內最小模型,但它在多數指標上具有競爭力甚至領先。
| Benchmark | LFM2.5-2.6B (2.6B) | gemma-4-E2B-it (5.1B) | gemma-4-E4B-it (8B) | Qwen3.5-4B (4.7B) | Qwen3.5-9B (9.7B) |
|------------------------|--------------------|-----------------------|---------------------|-------------------|-------------------|
| AA Omniscience | -29.50 | -74.47 | -49.03 | -54.30 | -50.43 |
| AIME25 | 51.87 | 26.33 | 34.27 | 49.33 | 56.07 |
| LiveCodeBenchv6 | 59.41 | 54.92 | 63.77 | 60.85 | 69.86 |
| IFBench | 59.17 | 34.08 | 39.24 | 48.40 | 56.47 |
| Multi-IF | 80.07 | 69.44 | 77.35 | 55.67 | 62.55 |
| IFStruct | 85.49 | 64.85 | 76.65 | 36.25 | 78.50 |
| BFCLv4 | 56.88 | 36.98 | 46.39 | 50.56 | 60.13 |
| ToolSandbox | 77.83 | 52.40 | 65.00 | 75.55 | 76.44 |
| τ³-Bench Banking | 5.67 | 3.35 | 4.12 | 5.45 | 5.15 |
| Claw-Eval average (EN)| 62.85 | 53.14 | 58.02 | 62.28 | 66.53 |
| PinchBench | 68.22 | 44.24 | 55.09 | 71.26 | 71.45 |
| BrowseComp+ (OpenClaw)| 26.89 | 8.31 | 15.90 | 24.46 | 27.23 |
該模型在所有指令遵循基準上領先,在除 BFCLv4 之外的所有工具使用基準上也處於領先位置(僅被 9.7B Qwen 略微超越)。在智慧體任務上優於兩個 Gemma 模型,並與 Qwen 模型保持相當。在知識基準上領先,數學方面接近。編碼是較大模型保持明顯優勢的少數領域。
推理速度表現
LFM2.5-2.6B 從釋出首日即支援 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等主流推理生態。
- CPU 推理:得益於高效的 LFM2 架構,它是測試中最快的模型,在 M5 Max 上解碼速度達 220 tokens/s,在 Ryzen AI Max+ 395 上達 113 tokens/s。即使在 30 tokens/s 的手機上也能執行強大智慧體。
- GPU 推理:在同規模模型中速度最快,高併發下可接近 15K output tokens/s,單張 H100 每日可處理約 1.3B tokens。
如何使用 LFM2.5-2.6B
適用於需要在大規模 workloads 中部署裝置端智慧體的場景。
pip install -U transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "LiquidAI/LFM2.5-2.6B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
dtype="bfloat16",
# attn_implementation="flash_attention_2"
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
[{"role": "user", "content": prompt}],
add_generation_prompt=True,
return_tensors="pt",
tokenize=True,
).to(model.device)
output = model.generate(
input_ids,
do_sample=True,
temperature=0.2,
top_k=80,
repetition_penalty=1.05,
max_new_tokens=512,
)
print(tokenizer.decode(output[0], skip_special_tokens=False))
快速開始
- 模型下載:LFM2.5-2.6B 和 LFM2.5-2.6B-Base 已在 Hugging Face 開放。
- 瀏覽器演示:可直接在瀏覽器中執行 WebGPU demo,無需安裝。
- 智慧體整合:支援 OpenClaw、Hermes Agent、Pi 等本地 Agent Harness。
LFM2.5-2.6B 體現了 Liquid AI “AI 可在任意地方執行”的願景。