Switchyard

在构建 AI 代理（Agent）时，开发者常面临一个两难选择：是用昂贵但强大的前沿模型（如 Claude Opus），还是用便宜但能力有限的轻量模型？全用大模型成本爆炸，全用小模型质量堪忧。

NVIDIA NeMo Switchyard是一个开源的 Rust 代理和库，充当 LLM 流量的智能路由器。它能在 OpenAI、Anthropic 以及各类本地模型（如 vLLM、Ollama）之间无缝转换请求格式，并根据任务的难度、成本和延迟要求，动态将工作负载路由到最合适的模型上。

核心逻辑：为什么需要路由？

AI 代理的工作流并非一成不变。一个复杂的编码任务可能包含：

1. 探索阶段：需要理解庞大的代码库（高难度，需大模型）。
2. 实现阶段：机械地编写样板代码或修复简单 Bug（低难度，需小模型）。
3. 验证阶段：运行测试并分析错误日志（中等难度，需中等模型）。

NeMo Switchyard 通过评估三个维度的信号来做出决策：

• 模型能力：哪个模型最能胜任当前主题（如数学、编码、医疗）？
• 成本特征：当前的延迟、Token 价格和工具调用开销是多少？
• 基础设施状态：模型的负载、错误率及系统可用性如何？

四大路由算法：从静态到自适应

Switchyard 提供了多种无需调优和可调优的路由器，以适应不同场景：

实战成效：降本增效的真实数据

NeMo Switchyard 并非纸上谈兵，已在多个生产环境中得到验证：

• LangChain 基准测试：在 145 个生产级多轮代理任务中，使用升级路由器在 Nemotron 3.5 Lightning 和 Claude Opus 之间路由，实现了 74% 的成本降低，仅将 7% 的调用发送给前沿模型，而准确性损失仅为 6 个百分点。
• Cognition (Devin)：在其编码代理 Devin Desktop 中部署阶段路由，在 Opus 5 和 Kimi K2.7 之间切换。结果显示，在平均成本降低 28% 的情况下，性能仅比纯用 Opus 5 落后 2.8 个百分点。

技术架构：提供商无关的灵活集成

• 格式转换引擎：内置转换器，能在 OpenAI Chat、Anthropic Messages 和 OpenAI Responses 格式间互转。这意味着你的应用可以继续使用原生 API，而 Switchyard 在后台处理兼容性。
• 状态管理：支持跨代理会话携带路由状态，保留历史上下文（如工具结果），确保多轮对话的一致性。
• 生态集成：已与 LiteLLM、Kong AI Gateway、LangChain 等主流工具打通，开发者可以轻松将其嵌入现有工作流。