
Kinference
开发 Linkerd 服务网格的 Buoyant 发布 Kinference,一款面向 Kubernetes 与 vLLM 的开源推理控制平面,定位为 vLLM 之上的调度层:vLLM 负责推理数据平面,Kinference 作为控制平面,接管请求路由、策略管控、KV 缓存感知负载均衡、租户指标统计,适合给内部多团队提供多模型推理服务的场景,开源协议 Apache 2.0,当前版本 v0.1.0-alpha.7,Rust 编写,通过 5 组 Kubernetes CRD 完成配置。





