小米MiMo‑V3将采用全新架构，核心HySparse2发布：百万Token下预填充降5.02倍、KV缓存缩小4.5倍

小米MiMo大模型负责人罗福莉发文官宣，下一代 MiMo‑V3 将采用全新架构，核心稀疏注意力技术 HySparse 2 正式对外发布，重点优化智能体场景下的预填充开销、KV缓存占用与长上下文检索能力。

• 论文地址：https://arxiv.org/pdf/2609.26368

关键指标（100万Token上下文）

• 预填充计算量FLOPs降低 5.02倍
• KV缓存占用缩小 4.5倍
• 长上下文评测MRCRv2、RULER‑v2得分提升，AgentPPL、LongPPL数值下降，兼顾检索精度与生成困惑度。

罗福莉指出，Agent智能体推理是一类特殊负载：每轮交互，简短动作输出往往触发很长的返回观测文本，上下文持续膨胀；预填充算力、KV缓存内存、长文本检索准确率三者同时成为性能瓶颈，传统注意力架构很难同时兼顾三者。

HySparse2两大核心机制

1. KV桥接（KV Bridging）：借鉴YOCO架构思路，模型拆分为自解码器（self‑decoder）与交叉解码器（cross‑decoder）。交叉解码器的全注意力层，直接复用自解码器输出的隐状态构建K/V，不再独立计算整套KV缓存。
2. KV重用（KV Reuse）：在同一个混合注意力块内部，稀疏层直接复用前序全注意力层的KV缓存以及token选择索引，减少重复计算。

另外两项粒度与架构改进

1. Token级选择替代Block块级选择：不再以整块为单位做稀疏筛选，可以挑选孤立关键token，长文档检索精度更高。
2. 近期Token强制窗口，取消独立SWA分支：本地窗口与全局选中token共用同一套KV缓存。
   

   架构收益：全部交叉解码器KV均源自自解码器，预填充计算在自解码器执行完毕就可以提前退出，无需跑完交叉解码器全部层，大幅削减长输入Prefill开销。

背景补充

就在昨日凌晨小米刚开源 MiMo‑V2.6（Pro / Flash双全模态版本），该版本依托大规模强化学习RL，AA综合智能指数取得开源模型第一；API定价维持不变，同时开放完整权重、RL训练环境与训练框架，推进递归自我改进RSI技术路线。而HySparse2是面向未来MiMo‑V3的底层架构革新，重点解决Agent高频长观测输入带来的推理成本难题。