模型API

Experiential 是一个开源的代理工作流网关和路由器，旨在为开发者和企业提供对 LLM 调用的精细控制、成本优化及质量监控。它通过一个统一的 OpenAI 兼容 API，整合了托管模型、自带密钥（BYOK）提供商以及本地部署模型，允许用户根据用例、预算和性能需求动态路由流量。

ll API Hub 浏览器插件用于统一管理多个 AI 中转账号与 API 密钥，核心能力包含余额用量看板、跨站比价、自动签到、API 连通检测，支持对接多款自建 AI 网关做模型同步与重定向，凭据可以一键导出到各类 AI 客户端。

Gufo 是一款专门针对 AMD Strix Halo（Radeon 8060S，gfx1151）硬件深度优化的本地推理引擎，适配搭载该芯片的 Ryzen AI MAX+ 395 设备，最高支持128 GiB统一内存。项目还有两个尚未合并的分支版本：Windows移植版、支持双Strix Halo的RDMA版本。

Sakana AI 正式推出 Fugu Max、Fugu Ultra v2，属于 Sakana Fugu 系列的两款全新模型。Fugu 并不是单一基础大模型，本质是一套具备学习能力的编排器，在统一 API 背后，把不同任务分发调度到模型池内的各类模型。新版本针对两个不同方向优化架构：Fugu Max 追求单位成本下最好的输出效果；Fugu Ultra v2 主打复杂多步骤任务，冲击最高推理能力上限。

Dot2API 是一款可自行部署的开源网关项目，核心作用是将 OpenAI Dot 封装，对外暴露OpenAI Chat Completions以及Anthropic Messages两套标准API接口。

Prime Intellect 正式发布 Prime Inference，一款面向前沿开源模型的推理服务平台，提供无服务器弹性端点以及跨多数据中心GPU的预留算力。

Liquid Inference是一套采用逐请求实时拍卖机制的LLM推理路由器，打造AI推理算力交易市场。简单来说，各个推理服务商针对模型给出报价，用户每发送一条提示词，系统就发起一次拍卖，满足用户约束条件的最低报价服务商承接本次请求。

Together Link 将你现有的编码智能体和桌面应用连接到由 Together AI 托管的模型。通过 Together Link 启动一个工具，它会为你配置连接。

SubQ Snap公开预览版最高支持384K token图文输入，是Jev 32K上下文上限的12倍，处理100K token输入可在1秒内输出决策，AI智能体无需对大型代码库、交互历史频繁分块。

SonicBoom 的核心创新是彻底砍掉 Python 依赖链，构建自带 MLIR 编译层的张量运行时，依托 CUDA Graph 与算子融合提升本地 LLM 解码性能，同时具备通用张量计算能力，不只局限大模型推理。现阶段版本号 v0.0.3，仍属于早期实验版本，仅在 sm_86 显卡完成充分验证，跨 GPU 架构适配还在完善。

You.com Inference Router是统一托管开源模型的推理网关，汇集12款主流开放权重大模型，兼容OpenAI接口，自有算力+多厂商故障转移，附带99.9%SLA、ZDR零数据留存与内置网页搜索，不收平台服务费，适合有合规、数据隐私、高可用要求的生产业务。

OmniInfer 跨平台本地推理引擎，支持 LLM/VLM，覆盖 Windows/macOS/Linux/ 安卓 /iOS，集成多款主流推理后端，可一键部署并开启兼容 OpenAI/Anthropic 的本地 API，自动适配硬件，简化本地大模型部署流程。

Splash 是 Apple Silicon 专属本地推理引擎，依靠 Metal 内核 + DFlash2 推测解码加速，API 兼容 OpenAI/Anthropic，自带网页聊天与编码代理。1.4 版本新增 Qwen3.8-Flash-Next 支持，M5 Pro 64GB 机型峰值可达 120 token/s，相比 Strata 提速约 30%，最高支持 1M 上下文；24GB Mac 可跑轻量化 GGUF 模型，大量化模型建议 36GB + 统一内存。

SGLang 已经不只是单纯的 LLM 推理引擎，成长为文本 + 图像 + 视频 + 语音一体化多模态服务栈，Agent、强化学习 rollout 是它的核心优势场景；跨芯片平台支持范围非常广，同时有成熟的集群编排方案，兼顾本地调试和超大集群生产部署。