使用 LFM2.5-VL-DSpark 加速视觉语言模型
2026-09-27 · Hugging Face
使用 LFM2.5-VL-DSpark 加速视觉语言模型
Liquid AI 正式发布了针对其视觉语言模型（VLM）LFM2.5-VL-3B 的实验性 DSpark 草稿模型。与近期发布的文本 LFM2.5-DSpark 草稿模型类似，该模型通过引入推测解码路径，在保持输出质量不变的前提下，以极小的内存开销增加换取了显著的推理速度提升。
核心优势
- 更快的推理速度：在设备端解码速度最高提升 3.13 倍，在 H100 GPU 上最高提升 2.66 倍；端到端速度最高分别提升 2.62 倍和 2.27 倍。
- 极小的内存代价：草稿模型仅增加 280M 参数，在原有 3B 参数目标模型的基础上仅增加了 8.9% 的参数量。
- 首日全面支持：提供与 LFM 兼容的 DSpark 集成，首日支持 llama.cpp、MLX-VLM 和 SGLang。
VLM 推测解码的工作原理
视觉草稿模型采用了与文本 LFM2.5-DSpark 草稿模型相同的架构。它会在一组固定的“抽头”层捕获目标模型的隐藏状态，并以此为条件草拟包含 k 个候选词的块。在进入这些层之前，图像块和文本词会被投影到一个共享表示空间中，因此无论输入模态如何，草稿模型都在相同维度的隐藏状态向量上运行。这使得其推理算法与文本模型保持一致。
训练与架构
研究团队遵循 DSpark 方案，使用了混合视觉语言 SFT 数据进行训练，并倾向于模型预期服务的工作负载。基于对 3、4 和 5 层的消融研究，最终确定的草稿模型是一个简化的纯注意力草稿器，包含 4 层，块大小为 9。团队在最终混合数据上运行了 10 个 epoch，并在每个 epoch 后测量接受率，发现随着训练词的增加，接受率有所提升，直至达到收益递减点。在推理时，建议根据硬件将块大小设置为 8 或 9。
该草稿模型的总参数量约为 279.5M，具体包括：
- 解码器堆栈（4 层）：193.0M
- 隐藏状态投影：21.0M
- 马尔可夫头：65.5M
- Norms + 置信度头：6.4k
CPU 和 GPU 推理加速
LFM2.5-VL-3B 的 DSpark 草稿模型首日支持 llama.cpp、MLX-VLM 和 SGLang。团队在六种不同的视觉任务（包括通用 VQA、文本 VQA、图像描述、图表 VQA、复杂推理和多轮对话）上评估了设备端和 GPU 推理性能，遵循 MMSpec 基准测试。
- 设备端推理：在 M5 Max 上使用 MLX，解码速度按任务不同提升 2.30 倍至 3.13 倍，端到端延迟改善 1.56 倍至 2.62 倍。在 M3 Ultra 上使用 llama.cpp，解码速度提升 1.57 倍至 2.14 倍，端到端提升 1.30 倍至 1.77 倍。
- GPU 推理：在 H100 上，解码速度提升 1.64 倍至 2.66 倍，端到端改善 1.64 倍至 2.27 倍。
视觉工作负载的推测限制
在大语言模型中，预填充通常是计算密集型的，其成本随提示长度呈（次）二次方增长。VLM 在此基础上增加了复杂性：图像首先通过视觉编码器，然后语言骨干网络处理数百个视觉词和文本提示。边缘设备的计算能力远低于数据中心 GPU，因此预填充在端到端延迟中占比较大。
推测解码仅加速解码阶段，而不加速视觉编码或预填充。当这些阶段已经占据了大部分运行时间时，即使解码速度大幅提升，端到端的增益也较为有限。这正是阿姆达尔定律的体现：整体加速效果受限于未被加速的工作负载部分。
如何使用 LFM2.5-VL-DSpark
用户可以通过 SGLang、llama.cpp 或 MLX-VLM 运行该模型。以 SGLang 为例，需要支持 LFM2 目标的 DSpark 版本，启动时附加草稿模型路径并设置推测参数即可。推测解码是精确的：目标模型会验证每个提议的词，因此贪婪输出与单独使用目标模型完全一致。
获取模型
视觉 DSpark 草稿模型现已在 Hugging Face 上提供 Safetensors 和 GGUF 格式下载。LFM2.5 系列致力于实现“随处运行”的 AI 愿景，具备开放权重、首日极速支持以及覆盖多种用例的完整模型家族等特性。