AngelSpec

AngelSpec

腾讯发布 AngelSpec,一个开源的、基于 torch 原生训练的推测解码草稿模型训练框架。该版本涵盖了自回归多 token 预测和块并行的 DFlash 家族。大多数推测解码工作都在寻找一个在平均基准混合上得分良好的单一草稿模型。真实的服务流量并不像那种混合体。AngelSpec 将工作负载异构性视为一级设计约束,并围绕它来专门化结构、训练数据和验证深度。
1080