LFM2.5-VL-3B:为边缘设备提供更佳更快的视觉能力

2026-08-20 · Hugging Face

LFM2.5-VL-3B:为边缘设备提供更佳更快的视觉能力

模型介绍

LFM2.5-VL-3B 是 LiquidAI 目前最强大的视觉语言模型,可直接在用户自己的硬件上运行。它能够理解文档和各类数字屏幕,支持对象定位,并可调用工具。该模型采用直接回答而非逐步推理的设计,因此在实时应用和设备端场景中能保持快速响应。

LFM2.5-VL-3B 在先前视觉语言模型基础上进行了四项主要升级:

  • 屏幕与 UI 理解:对不同设备的数字屏幕具有强大理解能力。
  • 对象定位:通过自然语言查询显著提升定位和对象检测效果。
  • 多图像输入:增强了跨多张图像的推理能力。
  • 函数调用:在纯文本和视觉-文本混合场景下,函数调用能力大幅提升。

训练方法

LFM2.5-VL-3B 将 SigLIP2 400M NaFlex 视觉编码器与 LFM2.5-2.6B 文本模型相同的预训练主干相结合。它在约 34 万亿 tokens 上完成预训练,其中视觉数据量是前代版本的 4 倍。这些视觉数据来自精心筛选和合成的图像-描述、OCR、定位以及指令跟随数据集。

为更好地支持非拉丁文字系统,团队将词汇表规模扩大一倍至 128K,采用在原有分词器基础上直接扩展的方式,而非从零重新训练。

后训练分为两个阶段:第一阶段为监督微调(SFT),采用来自更大教师模型的知识蒸馏技术并结合 Antidoom 训练;第二阶段为多奖励强化学习(RL)。

基准测试结果

团队在视觉和文本基准上对 LFM2.5-VL-3B 进行了全面评估。该模型在真实世界图像任务中领先同规模模型,同时在文档、图表和屏幕 UI 元素等数字内容理解上表现出色。所有评估均使用非推理模式,直接要求模型回答,不进行逐步推理。

视觉基准测试

LFM2.5-VL-3B 在多语言视觉理解、指令跟随、视觉数学与科学推理、文档理解、对象检测、多图像理解、屏幕理解以及幻觉抑制等任务上取得领先成绩,尤其在 grounding 和 GUI 任务中提升显著。

关键结果摘要(部分数据):

  • MMStar: 63.3
  • RealWorldQA: 73.1
  • MMBench (EN): 81.0
  • MathVista (mini): 68.5
  • ChartQA: 81.3
  • DocVQA: 91.1
  • RefCOCO-avg: 87.9
  • ScreenSpot-v2 (Desktop): 78.7 / Mobile: 81.2 / Web: 82.2
  • 整体平均分:69.4

该模型在 grounding、屏幕理解和多图像任务上较 LFM2-VL-3B 有大幅提升。

文本基准测试(指令跟随与工具使用)

在纯文本指令跟随和工具使用基准上,LFM2.5-VL-3B 也取得显著进步,指令跟随能力全面提升,工具使用能力大幅增强。在 ToolSandbox 和 BFCL V4 等基准上,其表现与 Gemma-4-E2B 及 Qwen3.5-2B 相当。

关键结果:

  • IFEval: 82.3
  • ToolSandbox: 59.5
  • BFCL V4: 32.5

这些结果表明,LFM2.5-VL-3B 是一款强大的通用视觉语言模型,在日常视觉问答、文档理解、对象定位、屏幕阅读和工具调用等方面均有优秀表现。

推理速度表现

LFM2.5-VL-3B 从发布首日即支持主流推理生态,包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

设备端推理:

  • M5 Max 上解码速度达 228 tokens/s
  • Ryzen AI Max+ 395 上达 116 tokens/s
  • 内存占用约 3GB
  • Galaxy S26 Ultra 上可达 20 tokens/s,可实现完全设备端运行

GPU 推理:该模型在多帧输入场景下延迟始终保持较低水平,是测试中速度最快的模型。在高并发场景下输出吞吐量最高可达约 11K tokens/s,约为 4B 级别模型的 2 倍,甚至超过部分 2B 模型。单张 H100 每天可输出接近 10 亿 tokens。

使用建议

当需要为高负载工作负载提供设备端智能时,应优先考虑 LFM2.5-VL-3B。建议安装最新版本的 transformers 库以获得最佳兼容性。

原文链接