基于量化感知蒸馏的 LFM2.5 Q4_0 检查点

2026-08-20 · Hugging Face

基于量化感知蒸馏的 LFM2.5 Q4_0 检查点

Liquid AI 于 2026 年 8 月 19 日宣布发布一系列采用量化感知蒸馏(Quantization-Aware Distillation,简称 QAD)技术训练的 Q4_0 GGUF 检查点。这些更新后的 4-bit 模型针对 LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct 和 LFM2.5-2.6B 四个不同规模版本,旨在让开发者能够在边缘设备上以 Q4_0 的内存占用和速度运行模型,同时大幅降低传统量化带来的质量损失。

量化感知蒸馏(QAD)方法

与常见的训练后量化(Post-Training Quantization,PTQ)不同,QAD 是一种在训练阶段就考虑量化效果的技术。具体而言,它使用高精度的教师模型(通常为 BF16),将知识蒸馏到一个量化的学生模型中。通过这种方式,模型在量化过程中就能学习如何补偿精度损失。

这些 QAD Q4_0 检查点具有以下核心优势:

  • 与原生 Q4_0 相同的内存和速度:完全保持 Q4_0 GGUF 的低内存占用和高吞吐量优势。
  • 显著的精度恢复:能够恢复因量化而损失的 BF16 平均准确率的约 97%。
  • 无需改变推理框架:可直接在 llama.cpp 及其他支持 GGUF Q4_0 的运行时中使用。

基准测试结果

团队在多个权威基准上对 PTQ 版本与 QAD Q4_0 检查点进行了全面对比,基准范围覆盖推理、指令遵循、工具使用和智能体能力,包括:

  • GPQA Diamond
  • MMLU-Pro
  • IFEval
  • IFBench
  • Multi-IF
  • BFCLv4

针对不同模型规模,还额外使用了合适的数学评测:LFM2.5-230M 和 350M 使用 GSM8K,LFM2.5-1.2B-Instruct 和 2.6B 则使用 AIME25。所有结果均为五次重复实验的平均值,BF16 GGUF 作为理论上限参考。

测试结果显示,QAD 方法在四个模型上均大幅优于传统 PTQ Q4_0 检查点。具体而言,QAD 检查点分别保留了对应 BF16 基线性能的:

  • LFM2.5-230M:97.1%
  • LFM2.5-350M:96.5%
  • LFM2.5-1.2B-Instruct:97.4%
  • LFM2.5-2.6B:96.6%

边缘硬件上的速度与大小表现

为了验证实际部署价值,团队在以下四款典型边缘设备上测试了模型的解码吞吐量:

  • MacBook Pro(GPU 推理)
  • NucBox EVO-X2(GPU 推理)
  • Samsung Galaxy S26 Ultra(Arm CPU 推理)
  • Raspberry Pi 5(Arm CPU 推理)

测试同时提供了 BF16 和 F16 作为全精度参考。

结果表明:

  • 230M 和 350M 模型:QAD Q4_0 的质量在评估误差范围内接近 Q5_K_M,但解码吞吐量提升 4-33%。
  • 1.2B 和 2.6B 模型:QAD Q4_0 的质量接近 Q4_K_M,同时吞吐量提升 3-14%。

此外,这些 QAD 检查点在适用模型上也与 Unsloth 的 UD-Q4_K_XL 外部强基准表现相当或更优。

如何使用 QAD GGUFs

这些检查点可直接用于支持 GGUF Q4_0 格式的任何推理引擎,最典型的是 llama.cpp。使用示例如下:


llama-cli -hf LiquidAI/LFM2.5-350M \
  --hf-file LFM2.5-350M-QAD-Q4_0.gguf \
  -p "What is C. elegans?"

开发者只需下载对应模型的 QAD Q4_0 GGUF 文件即可开始本地部署,无需任何额外修改。

获取与引用

QAD Q4_0 检查点现已在 Hugging Face 上正式开放,具体仓库包括:

  • LFM2.5-230M
  • LFM2.5-350M
  • LFM2.5-1.2B-Instruct
  • LFM2.5-2.6B

论文引用可使用以下格式:

Liquid AI, "LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment", Liquid AI Blog, Aug 2026.

或 BibTeX:


@article{liquidAI2026Q40,
  author = {Liquid AI},
  title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/qad}
}

这些模型的发布进一步降低了在边缘设备上部署高性能语言模型的门槛,Liquid AI 表示期待看到社区基于这些高效检查点构建的各种应用。

原文链接