Merge Gateway

当你的 AI 应用从原型走向生产，第一个头疼的问题往往不是模型不够聪明，而是模型太多、太乱。

今天用 OpenAI，明天试 Anthropic，后天还得接入 AWS Bedrock。每个供应商一套 API、一套密钥、一套计费逻辑。为了切换模型，工程师不得不写一堆“胶水代码”，最后演变成一个难以维护的内部路由服务，分散了构建核心产品的精力。

Merge 新推出的 Gateway，就是为了解决这个麻烦。

一个 API 端点，统领所有模型

Gateway 的定位很明确：它是应用程序与大语言模型提供商之间的控制平面。

通过一次集成，你只需暴露一个单一的 API 端点。Gateway 会在后台处理跨所有提供商的路由、回退逻辑、费用治理、PII（个人敏感信息）检测和可观测性。

目前支持的路由层覆盖主流玩家：OpenAI、Anthropic、Google、Cohere、Mistral、Grok 以及 AWS Bedrock。

最关键的是，提供商切换通过配置完成，无需更改代码。这意味着你可以随时根据性能或成本调整策略，而不用重新部署应用。

从“事后看账单”到“事前控预算”

对于企业来说，LLM 的成本黑洞是个大问题。

Gateway 提供了细粒度的预算控制，可以在账户、团队甚至单个客户层面设置限额。一旦费用接近阈值，系统会提前触发警报，而不是等你收到月底账单时才惊呼“怎么这么贵”。

此外，API 密钥管理被集中化。你不再需要担心凭据散落在各个微服务中，也无法审计哪些模型在接收请求。现在，一切都在掌控之中。

全视角的可观测性

以往，想看延迟、错误率或每次调用成本，你得登录五六个不同的供应商门户。

Gateway 将这些数据整合到一个仪表板中。无论底层用的是哪家模型，你都能看到统一的性能指标。这对于排查问题、优化体验至关重要。

兼容现有生态，无缝迁移

Gateway 并非要推翻你现有的开发流程。

它附带 Python 和 TypeScript SDK，并与现有的 OpenAI、Anthropic 和 LangChain SDK 客户端兼容。如果你已经在使用这些工具，只需将客户端的基 URL 指向 Gateway 端点，即可在不修改应用程序代码的情况下，获得多提供商路由和可观测能力。

Merge 的新战场

成立于 2020 年的 Merge，此前靠统一 HRIS、CRM 和 ATS 的 API 积累了名声，B 轮融资达 7500 万美元。

Gateway 是其全新的产品线，标志着 Merge 正式进入 LLM 基础设施领域。这个赛道已有 LiteLLM、Portkey 和 Cloudflare AI Gateway 等玩家。但 Merge 的差异化在于，它更侧重于满足大规模生产环境中团队的治理和合规需求，而非仅仅提供一个开源代理或托管端点。

对于已经过了原型阶段、正在认真部署 AI 的工程团队来说，Gateway 或许能让他们从繁琐的基础设施维护中解脱出来，回归到构建真正有价值的产品上。