LFM2.5-VL-3B:為邊緣裝置提供更佳更快的視覺能力

2026-08-20 · Hugging Face

LFM2.5-VL-3B:為邊緣裝置提供更佳更快的視覺能力

模型介紹

LFM2.5-VL-3B 是 LiquidAI 目前最強大的視覺語言模型,可直接在使用者自己的硬體上執行。它能夠理解文件和各類數字螢幕,支援物件定位,並可呼叫工具。該模型採用直接回答而非逐步推理的設計,因此在實時應用和裝置端場景中能保持快速響應。

LFM2.5-VL-3B 在先前視覺語言模型基礎上進行了四項主要升級:

  • 螢幕與 UI 理解:對不同裝置的數字螢幕具有強大理解能力。
  • 物件定位:透過自然語言查詢顯著提升定位和物件檢測效果。
  • 多影象輸入:增強了跨多張影象的推理能力。
  • 函式呼叫:在純文字和視覺-文字混合場景下,函式呼叫能力大幅提升。

訓練方法

LFM2.5-VL-3B 將 SigLIP2 400M NaFlex 視覺編碼器與 LFM2.5-2.6B 文字模型相同的預訓練主幹相結合。它在約 34 萬億 tokens 上完成預訓練,其中視覺資料量是前代版本的 4 倍。這些視覺資料來自精心篩選和合成的影象-描述、OCR、定位以及指令跟隨資料集。

為更好地支援非拉丁文字系統,團隊將詞彙表規模擴大一倍至 128K,採用在原有分詞器基礎上直接擴充套件的方式,而非從零重新訓練。

後訓練分為兩個階段:第一階段為監督微調(SFT),採用來自更大教師模型的知識蒸餾技術並結合 Antidoom 訓練;第二階段為多獎勵強化學習(RL)。

基準測試結果

團隊在視覺和文字基準上對 LFM2.5-VL-3B 進行了全面評估。該模型在真實世界影象任務中領先同規模模型,同時在文件、圖表和螢幕 UI 元素等數字內容理解上表現出色。所有評估均使用非推理模式,直接要求模型回答,不進行逐步推理。

視覺基準測試

LFM2.5-VL-3B 在多語言視覺理解、指令跟隨、視覺數學與科學推理、文件理解、物件檢測、多影象理解、螢幕理解以及幻覺抑制等任務上取得領先成績,尤其在 grounding 和 GUI 任務中提升顯著。

關鍵結果摘要(部分資料):

  • MMStar: 63.3
  • RealWorldQA: 73.1
  • MMBench (EN): 81.0
  • MathVista (mini): 68.5
  • ChartQA: 81.3
  • DocVQA: 91.1
  • RefCOCO-avg: 87.9
  • ScreenSpot-v2 (Desktop): 78.7 / Mobile: 81.2 / Web: 82.2
  • 整體平均分:69.4

該模型在 grounding、螢幕理解和多影象任務上較 LFM2-VL-3B 有大幅提升。

文字基準測試(指令跟隨與工具使用)

在純文字指令跟隨和工具使用基準上,LFM2.5-VL-3B 也取得顯著進步,指令跟隨能力全面提升,工具使用能力大幅增強。在 ToolSandbox 和 BFCL V4 等基準上,其表現與 Gemma-4-E2B 及 Qwen3.5-2B 相當。

關鍵結果:

  • IFEval: 82.3
  • ToolSandbox: 59.5
  • BFCL V4: 32.5

這些結果表明,LFM2.5-VL-3B 是一款強大的通用視覺語言模型,在日常視覺問答、文件理解、物件定位、螢幕閱讀和工具呼叫等方面均有優秀表現。

推理速度表現

LFM2.5-VL-3B 從釋出首日即支援主流推理生態,包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

裝置端推理:

  • M5 Max 上解碼速度達 228 tokens/s
  • Ryzen AI Max+ 395 上達 116 tokens/s
  • 記憶體佔用約 3GB
  • Galaxy S26 Ultra 上可達 20 tokens/s,可實現完全裝置端執行

GPU 推理:該模型在多幀輸入場景下延遲始終保持較低水平,是測試中速度最快的模型。在高併發場景下輸出吞吐量最高可達約 11K tokens/s,約為 4B 級別模型的 2 倍,甚至超過部分 2B 模型。單張 H100 每天可輸出接近 10 億 tokens。

使用建議

當需要為高負載工作負載提供裝置端智慧時,應優先考慮 LFM2.5-VL-3B。建議安裝最新版本的 transformers 庫以獲得最佳相容性。

原文連結