Ollama 官宣新增对 TypeSafe Jev 风格决策模型的支持,从 Ollama 0.35 版本起可用,为本地AI决策场景带来重大升级。新版本开放 /v1/systemone 接口,传入文本状态与一组预设命名问题,单次请求就能返回带类型的结构化结果,非常适合客户工单分类、模型路由、内容安全审核这类任务,全部在本地设备运算,不存在网络延迟。

Ollama给出基准数据:9B规格模型在M5 Max处理器本地运行,单次决策平均仅91毫秒。平台首批上线三款决策模型:nimble、tev1、tev1:0.8b,分别适配不同硬件算力条件。返回结果除最终决策外,附带概率、置信度分值,方便开发者掌握模型判断确定性,在生产环境中做后续业务逻辑处理。
集成方式支持curl调用,或是TypeSafe官方Python SDK。部署流程简单:升级Ollama到最新版,拉取nimble这类决策模型,配置SDK对应的环境变量即可。
现阶段主打本地离线推理;Ollama同时透露,后续还会在其云服务上架更多决策模型。
要点总结
- 版本:Ollama 0.35开始支持Jev风格决策模型,新增
/v1/systemone端点; - 能力:单次请求输出带类型决策结果,附带概率与置信度,适合分类、路由、安全审核;
- 性能:9B模型在M5 Max本地推理,单次决策平均91ms;提供nimble、tev1、tev1:0.8b三款模型;
- 接入:curl或TypeSafe Python SDK;当前主打本地运行,后续云版本规划中。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















