OpenRouter 正式推出 typesafe/jev-router,由 TypeSafe AI 的 Jev(System 1 决策模型)驱动,一款具备缓存感知能力的模型路由器,可以为每一条请求自动选择最合适的大模型与推理算力投入,在输出质量、响应速度、调用成本三者之间做权衡。
- 地址:https://openrouter.ai/chat?models=typesafe/jev-router

核心测试数据
在4个智能体基准测试集上,Jev Router 可完成任务数量相比 OpenRouter 原有 Auto Router 高出 82%:237/423 对比 130/423。
在5套智能体基准中,它的首token中位延迟优于所有其他参与对比的路由器。
传统路由器存在的短板
市面上绝大多数路由方案是按单条消息独立选择模型。一旦发生模型切换,对话缓存会失效,新模型需要重读全部历史对话,带来额外开销。
同时,传统路由大多依靠任务类别分类,不区分任务难度:简单代码任务、超复杂代码任务会分配同一个模型,造成算力浪费或者能力不足。
Jev Router 的工作机制
路由核心由 TypeSafe 的决策模型 Jev 驱动。在每一轮对话之前,Jev读取对话文本,对任务难度、所需精度打分,评估:
- 升级更大模型、调高推理强度是否能带来实质收益
- 使用低成本轻量模型是否足以完成当前任务
- 判断当前会话任务是否发生变化
关键设计亮点:
- 会话内尽量保持模型不变:会话存续期间优先维持当前模型,只动态升降推理努力程度,不盲目切换模型;只有预估收益大于切换代价(包含缓存丢失成本)时,才更换模型。
- 零数据保留 ZDR:Jev 仅读取对话文本用于路由判断,不会存储任何内容,数据不用于模型训练;附件不会传给Jev,支持
zdr:true的请求。 - 故障策略:Jev调用超时或输出无效内容时,请求直接失败,不会自动回退至其他路由器。
- 可观测路由元信息:每一次返回结果附带路由元数据,记录本次模型选择理由;在 OpenRouter Chat 的路由洞察面板,能够直接查看任务分类、难度打分、精度评估,以及更换大模型的预期收益。
使用方式
在应用中直接使用模型标识 typesafe/jev-router 即可接入;OpenRouter Chat 里还可以可视化查看Jev的完整路由思考过程。
适用场景
适合长会话Agent、多轮代码任务、持续对话类应用。这类场景频繁切换模型会持续损耗缓存,拉高成本并拖慢首token速度。Jev Router 通过感知缓存代价,减少不必要模型跳转,按需调节推理强度。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















