Deploy local agents everywhere with LFM2.5-2.6B
2026-08-20 · Hugging Face
LFM2.5-2.6B:随处部署本地智能体
Liquid AI 推出了 LFM2.5-2.6B,这是一款专为在设备端运行高性能智能体而设计的 2.6B 参数模型。它能够在笔记本电脑到智能手机等日常硬件上完全本地部署,支持工具调用和多步工作流,同时体积小、速度快,适合大规模部署。
核心优势
- 最佳级别智能体性能:在工具使用、指令遵循和多步智能体任务上,与参数量为其 4 倍的模型具有竞争力。
- Agentic 强化学习:在主流智能体 Harness 中进行训练,提升兼容性。
- 高效推理:在 Apple M5 Max 上达到 220 tok/s,在 AMD Ryzen CPU 上达到 113 tok/s,内存占用低于 2.5GB。
这些特性使得开发者可以在任意位置部署智能体、保护数据本地隐私,并避免云端推理费用。
模型构建过程
LFM2.5-2.6B 在约 34T tokens 上进行预训练,中训阶段将上下文窗口扩展至 128K。随后通过四个后训练阶段将其转化为可靠的智能体模型:
1. 监督微调(SFT):进行两轮 SFT, heavily 侧重工具使用、网络搜索和 Harness 轨迹等智能体数据。
2. 教师专精(Teacher Specialization):为数学、代码、工具使用等不同领域分别训练一个专精教师模型。
3. 多领域在线策略蒸馏(MOPD):将多个专精教师的知识蒸馏到一个单一学生模型中。
4. Agentic 强化学习(Agentic RL):在真实智能体 Harness 中运行多轮 RL,让模型学会在不同工具、系统提示和多轮任务环境中工作。
Agentic RL 训练流水线
该流水线将模型优化、推理和环境执行分离为不同组件:
- Training Engine:负责模型优化。
- Rollout Engine:使用最新策略生成动作。
- RL Framework:协调训练循环,启动 rollout、收集轨迹和奖励,并更新模型。
动作在 Sandbox Service 中执行,其中 Blackbox Harness(如 OpenClaw 或 Hermes Agent)托管智能体并协调与任务环境的交互。Harness Proxy 允许将智能体 Harness 视为黑盒,无需修改即可透明地捕获 token 级轨迹,用于重建和验证 RL 训练样本。
基准测试结果
LFM2.5-2.6B 在 STEM、指令遵循、工具使用和智能体任务上与最高达其 4 倍大小的模型进行了对比。尽管是组内最小模型,但它在多数指标上具有竞争力甚至领先。
| Benchmark | LFM2.5-2.6B (2.6B) | gemma-4-E2B-it (5.1B) | gemma-4-E4B-it (8B) | Qwen3.5-4B (4.7B) | Qwen3.5-9B (9.7B) |
|------------------------|--------------------|-----------------------|---------------------|-------------------|-------------------|
| AA Omniscience | -29.50 | -74.47 | -49.03 | -54.30 | -50.43 |
| AIME25 | 51.87 | 26.33 | 34.27 | 49.33 | 56.07 |
| LiveCodeBenchv6 | 59.41 | 54.92 | 63.77 | 60.85 | 69.86 |
| IFBench | 59.17 | 34.08 | 39.24 | 48.40 | 56.47 |
| Multi-IF | 80.07 | 69.44 | 77.35 | 55.67 | 62.55 |
| IFStruct | 85.49 | 64.85 | 76.65 | 36.25 | 78.50 |
| BFCLv4 | 56.88 | 36.98 | 46.39 | 50.56 | 60.13 |
| ToolSandbox | 77.83 | 52.40 | 65.00 | 75.55 | 76.44 |
| τ³-Bench Banking | 5.67 | 3.35 | 4.12 | 5.45 | 5.15 |
| Claw-Eval average (EN)| 62.85 | 53.14 | 58.02 | 62.28 | 66.53 |
| PinchBench | 68.22 | 44.24 | 55.09 | 71.26 | 71.45 |
| BrowseComp+ (OpenClaw)| 26.89 | 8.31 | 15.90 | 24.46 | 27.23 |
该模型在所有指令遵循基准上领先,在除 BFCLv4 之外的所有工具使用基准上也处于领先位置(仅被 9.7B Qwen 略微超越)。在智能体任务上优于两个 Gemma 模型,并与 Qwen 模型保持相当。在知识基准上领先,数学方面接近。编码是较大模型保持明显优势的少数领域。
推理速度表现
LFM2.5-2.6B 从发布首日即支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等主流推理生态。
- CPU 推理:得益于高效的 LFM2 架构,它是测试中最快的模型,在 M5 Max 上解码速度达 220 tokens/s,在 Ryzen AI Max+ 395 上达 113 tokens/s。即使在 30 tokens/s 的手机上也能运行强大智能体。
- GPU 推理:在同规模模型中速度最快,高并发下可接近 15K output tokens/s,单张 H100 每日可处理约 1.3B tokens。
如何使用 LFM2.5-2.6B
适用于需要在大规模 workloads 中部署设备端智能体的场景。
pip install -U transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "LiquidAI/LFM2.5-2.6B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
dtype="bfloat16",
# attn_implementation="flash_attention_2"
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
[{"role": "user", "content": prompt}],
add_generation_prompt=True,
return_tensors="pt",
tokenize=True,
).to(model.device)
output = model.generate(
input_ids,
do_sample=True,
temperature=0.2,
top_k=80,
repetition_penalty=1.05,
max_new_tokens=512,
)
print(tokenizer.decode(output[0], skip_special_tokens=False))
快速开始
- 模型下载:LFM2.5-2.6B 和 LFM2.5-2.6B-Base 已在 Hugging Face 开放。
- 浏览器演示:可直接在浏览器中运行 WebGPU demo,无需安装。
- 智能体集成:支持 OpenClaw、Hermes Agent、Pi 等本地 Agent Harness。
LFM2.5-2.6B 体现了 Liquid AI “AI 可在任意地方运行”的愿景。