Liquid AI 推出 LFM2.5-VL-3B-DSpark，一个专为 LFM2.5-VL-3B 视觉语言模型设计的实验性投机解码草稿模型。该草稿器仅增加约 2.8 亿参数（+8.9%），在不改变输出的前提下显著提升解码速度：Apple Silicon M5 Max 上解码加速达 3.13 倍，英伟达H100 上达 2.66 倍。
- 模型：https://huggingface.co/LiquidAI/LFM2.5-VL-3B-DSpark
核心技术原理
投机解码机制
- 标准解码：每次前向传播生成 1 个 token
- DSpark 方案：小草稿器提前提议 k 个 tokens → 大目标模型单次传递验证整块 → 保留一致 tokens
- 模态无关性：文本与图像 patch 在隐藏层均为张量，复用纯文本 DSpark 推理算法
草稿器架构
| 组件 | 参数量 | 说明 |
|---|---|---|
| 解码器堆栈（4 层） | 193.0M | 简化仅注意力模型 |
| 隐藏状态投影 | 21.0M | 读取目标模型中间层 |
| Markov 头 | 65.5M | 预测接下来 k 个 tokens |
| 归一化 + 置信度头 | 6.4k | 极轻量 |
| 总计 | 279.5M | 嵌入/LM 头与目标绑定，不额外携带 |
💡 关键设计：消融实验选定 4 层 + 块大小 9；Apple Silicon 推荐块大小 8，H100 用 9。训练仅 10 epoch，全程在 AMD 硬件完成。
性能实测数据
| 运行时 / 硬件 | 解码加速 | 端到端加速 | 平均接受 tokens/传递 |
|---|---|---|---|
| MLX-VLM, M5 Max (块8) | 2.30x – 3.13x | 1.56x – 2.62x | 3.24 – 4.34 |
| llama.cpp, M3 Ultra (块8) | 1.57x – 2.14x | 1.30x – 1.77x | 3.31 – 4.50 |
| SGLang, H100 80GB (块9) | 2.04x – 2.66x | 1.64x – 2.27x | 3.46 – 4.57 |
⚠️ “高达”数值来源差异：
- M5 Max 3.13x 解码来自 COCO 字幕任务
- 2.62x 端到端来自 MMMU-Pro
- 不同任务加速差异显著，需结合自身场景实测
输出质量与温度影响
- 贪婪解码（temp=0）：输出与基础模型完全相同
- 非零温度 + 匹配采样：保留目标模型输出分布（Leviathan et al. 证明）
- 高温代价：概率分散 → 草稿器与目标分歧增多 → 接受率下降 → 吞吐量降低
边缘设备端到端收益受限原因
投机解码仅加速解码阶段，图像编码与 prefill 速度不变。根据阿姆达尔定律：
- 边缘设备计算弱 → prefill 占总延迟比例高 → 总加速被未加速部分限制
- 示例：M5 Max 上 TextVQA 解码快 2.69x，但端到端仅 1.56x
- 数据中心 GPU（如 H100）因 prefill 占比低，端到端收益更接近解码加速
© 版权声明
文章版权归作者所有，未经允许请勿转载。
