基於量化感知蒸餾的 LFM2.5 Q4_0 檢查點

2026-08-20 · Hugging Face

基於量化感知蒸餾的 LFM2.5 Q4_0 檢查點

Liquid AI 於 2026 年 8 月 19 日宣佈釋出一系列採用量化感知蒸餾(Quantization-Aware Distillation,簡稱 QAD)技術訓練的 Q4_0 GGUF 檢查點。這些更新後的 4-bit 模型針對 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 四個不同規模版本,旨在讓開發者能夠在邊緣裝置上以 Q4_0 的記憶體佔用和速度執行模型,同時大幅降低傳統量化帶來的質量損失。

量化感知蒸餾(QAD)方法

與常見的訓練後量化(Post-Training Quantization,PTQ)不同,QAD 是一種在訓練階段就考慮量化效果的技術。具體而言,它使用高精度的教師模型(通常為 BF16),將知識蒸餾到一個量化的學生模型中。透過這種方式,模型在量化過程中就能學習如何補償精度損失。

這些 QAD Q4_0 檢查點具有以下核心優勢:

  • 與原生 Q4_0 相同的記憶體和速度:完全保持 Q4_0 GGUF 的低記憶體佔用和高吞吐量優勢。
  • 顯著的精度恢復:能夠恢復因量化而損失的 BF16 平均準確率的約 97%。
  • 無需改變推理框架:可直接在 llama.cpp 及其他支援 GGUF Q4_0 的執行時中使用。

基準測試結果

團隊在多個權威基準上對 PTQ 版本與 QAD Q4_0 檢查點進行了全面對比,基準範圍覆蓋推理、指令遵循、工具使用和智慧體能力,包括:

  • GPQA Diamond
  • MMLU-Pro
  • IFEval
  • IFBench
  • Multi-IF
  • BFCLv4

針對不同模型規模,還額外使用了合適的數學評測:LFM2.5-230M 和 350M 使用 GSM8K,LFM2.5-1.2B-Instruct 和 2.6B 則使用 AIME25。所有結果均為五次重複實驗的平均值,BF16 GGUF 作為理論上限參考。

測試結果顯示,QAD 方法在四個模型上均大幅優於傳統 PTQ Q4_0 檢查點。具體而言,QAD 檢查點分別保留了對應 BF16 基線效能的:

  • LFM2.5-230M:97.1%
  • LFM2.5-350M:96.5%
  • LFM2.5-1.2B-Instruct:97.4%
  • LFM2.5-2.6B:96.6%

邊緣硬體上的速度與大小表現

為了驗證實際部署價值,團隊在以下四款典型邊緣裝置上測試了模型的解碼吞吐量:

  • MacBook Pro(GPU 推理)
  • NucBox EVO-X2(GPU 推理)
  • Samsung Galaxy S26 Ultra(Arm CPU 推理)
  • Raspberry Pi 5(Arm CPU 推理)

測試同時提供了 BF16 和 F16 作為全精度參考。

結果表明:

  • 230M 和 350M 模型:QAD Q4_0 的質量在評估誤差範圍內接近 Q5_K_M,但解碼吞吐量提升 4-33%。
  • 1.2B 和 2.6B 模型:QAD Q4_0 的質量接近 Q4_K_M,同時吞吐量提升 3-14%。

此外,這些 QAD 檢查點在適用模型上也與 Unsloth 的 UD-Q4_K_XL 外部強基準表現相當或更優。

如何使用 QAD GGUFs

這些檢查點可直接用於支援 GGUF Q4_0 格式的任何推理引擎,最典型的是 llama.cpp。使用示例如下:


llama-cli -hf LiquidAI/LFM2.5-350M \
  --hf-file LFM2.5-350M-QAD-Q4_0.gguf \
  -p "What is C. elegans?"

開發者只需下載對應模型的 QAD Q4_0 GGUF 檔案即可開始本地部署,無需任何額外修改。

獲取與引用

QAD Q4_0 檢查點現已在 Hugging Face 上正式開放,具體倉庫包括:

  • LFM2.5-230M
  • LFM2.5-350M
  • LFM2.5-1.2B-Instruct
  • LFM2.5-2.6B

論文引用可使用以下格式:

Liquid AI, "LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment", Liquid AI Blog, Aug 2026.

或 BibTeX:


@article{liquidAI2026Q40,
  author = {Liquid AI},
  title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/qad}
}

這些模型的釋出進一步降低了在邊緣裝置上部署高效能語言模型的門檻,Liquid AI 表示期待看到社群基於這些高效檢查點構建的各種應用。

原文連結