AngelSpec

大语言模型的推理速度一直是落地的瓶颈。为了加速，业界常用的一种技术是“推测解码”（Speculative Decoding）：用一个轻量级的“草稿模型”快速预测接下来的几个词，再由强大的“目标模型”一次性验证。如果猜对了，就省去了多次调用大模型的时间；猜错了，再重新生成。

但现有的草稿模型往往试图“通吃”所有场景，结果在对话、代码或数学推理等不同任务上表现平平。腾讯最新开源的 AngelSpec 框架，正是为了解决这个问题而生。它不再追求单一的通用草稿模型，而是针对不同的工作负载，提供了专门优化的训练方案。

为什么通用草稿模型不够好？

推测解码的加速效果取决于两个核心指标：接受率（草稿被目标模型认可的比例）和验证周期耗时。然而，不同领域的文本特性截然不同：

• 开放式对话：语义灵活，续写方式多样。目标模型可能选择多种合理的回答，导致长序列的接受率迅速衰减。这种情况下，短小精悍的自回归 MTP（Multi-Token Prediction）模型更合适。
• 代码与数学：语法严谨，逻辑推导步骤固定。这类文本具有极强的可预测性，适合生成较长的连续块。此时，块并行（Block Parallel）的草稿模型能更好地摊销计算成本。

AngelSpec 的核心设计约束就是工作负载的异构性。它提供了两套互补的草稿模型路径，分别针对对话和逻辑推理进行专项优化。

路径一：MTP 模型的深度进化

针对对话场景，AngelSpec 对 Hy3 模型原有的 MTP 层进行了重大改进。原始模型在训练时只预测一步，但在推理时却需要循环复用，这导致了“训练-推理不匹配”，错误随深度累积。

AngelSpec 引入了**训练时测试（Test-Time Training）**原则：

1. 多深度自回归展开：在训练阶段，模型会模拟推理时的多步预测过程，每一步都基于前一步的预测结果，而非真实标签。
2. 目标模型展开：训练数据不再来自静态语料库，而是由冻结的目标模型实时生成。这确保了草稿模型学习的是目标模型真实的 token 选择偏好和不确定性模式。

这一改进效果显著：在 T=0 时，平均接受率从 52.8% 提升至 66.4%，深层位置的接受率在 GSM8K（数学）和 HumanEval（代码）基准上更是实现了翻倍增长。

路径二：DFly 架构的块并行突破

针对代码和数学推理，AngelSpec 推出了全新的 DFly 架构，它在 DFlash 基础上进行了两项关键创新：

• 混合目标条件主干：不同于 DFlash 使用单一上下文特征，DFly 结合了全连接层的共同语义基础和每层的残差精化，让每个草稿层都能获得更精准的目标模型视图。
• 前任条件自回归头：在并行主干后增加一个小型顺序头，将逐位置预测转换为前缀条件分布。这意味着草稿模型在预测后续 token 时，能看到前面已经生成的草稿内容，从而大幅减少后缀接受的衰减。

在 Qwen3-8B 和 Hy3-A21B 上的测试显示，DFly 在数学和代码基准上全面超越了现有的 DSpark 和 DFlash 模型，平均接受长度显著提升。

工程实现：基于 Torch 的原生训练

AngelSpec 基于 TorchSpec 构建，并针对大规模训练进行了深度扩展：

• 分离式架构：推理引擎运行冻结的目标模型，通过 RDMA 将隐藏状态直接流式传输给分布式训练节点，无需分叉 vLLM 引擎。
• 长上下文支持：利用 Ulysses 序列并行性，支持高达 128k token 的上下文训练。
• 文档感知打包：通过三种隔离机制，确保训练数据的纯净度。
• 广泛的后端支持：原生支持 vLLM，社区支持 SGLang 和 HuggingFace Transformers。

性能与获取

目前，AngelSpec 已在 Hugging Face 和 ModelScope 上发布了七个检查点。在实际部署中，DFly-8 在 Hy3-295B-A21B 模型上实现了 1.98–2.40 倍的加速比。对于追求极致吞吐量的场景，其 D-cut 变体甚至能将实时流量吞吐量推至 981 tok/s。

对于希望优化大模型推理成本的开发者而言，AngelSpec 提供了一套配置驱动、高度模块化的解决方案，让推测解码真正适应了复杂的生产环境。