Experiential

Experiential 是一个开源的代理工作流网关和路由器，为开发者和企业提供对 LLM 调用的精细控制、成本优化及质量监控。它通过一个统一的 OpenAI 兼容 API，整合了托管模型、自带密钥（BYOK）提供商以及本地部署模型，允许用户根据用例、预算和性能需求动态路由流量。

核心功能亮点

• 统一 API 接口：
  • 提供标准的 OpenAI 兼容端点（同时也支持 Anthropic Messages API），无缝集成现有的 SDK 和工具（如 Claude Code, Cursor, Codex 等）。
  • 支持混合部署：同时管理云端托管模型、BYOK 密钥（OpenAI, Anthropic, Gemini, Azure 等）和本地推理模型。
• 智能路由与控制：
  • 细粒度权限：控制哪些用户或代理可以访问特定模型，设定用例限制及支出预算。
  • 动态优化：将生产环境的流量数据转化为遥测，用于训练自定义路由器，从而在质量、速度和成本之间找到最佳平衡点。
• 基于遥测的优化：
  • 收集 OpenTelemetry 追踪数据，分析代理行为。
  • 使用 exp build 命令基于历史追踪构建模拟环境，优化路由策略。
  • 使用 exp optimize 微调开源模型，使其更适应特定工作流。

快速开始

1. 本地网关启动

安装并启动本地网关，首次运行会引导设置提供商和模型：

pip install experiential
exp

2. 发送请求

获取一次性密钥后，即可通过标准 curl 或 SDK 调用：

export EXP_GATEWAY_KEY=your_key_here
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer $EXP_GATEWAY_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

3. Python 集成

加载项目路由器作为官方 OpenAI 客户端使用：

import exp

with exp.load_router("my-project") as client:
    response = client.chat.completions.create(
        model="my-project",
        messages=[{"role": "user", "content": "hello"}],
    )

托管网关服务

如果不希望自行维护基础设施，可以使用 Experiential 的托管平台 (platform.experientiallabs.ai)：

1. 账户创建：通过电子邮件即时注册。
2. BYOK 连接：连接您的各大厂商 API 密钥进行免费透传。
3. 遥测导入：上传现有的 LLM 追踪数据以优化路由。
4. 代理重定向：将 Claude Code、Cursor 等编码代理指向网关 API。

从流量中学习

Experiential 强调“从生产中学习”。您可以导入公开的 OTLP 数据集（如 terminal-tasks）或上传自己的代理追踪文件，然后运行：

# 基于追踪数据构建并优化路由器
exp build support-agent

# 微调模型以适应特定任务
exp optimize model support-agent

隐私与遥测

• 默认匿名：PostHog 产品遥测默认启用，但绝不包含提示词、原始内容、凭证或敏感操作数据。
• 完全可控：用户可以通过 exp config telemetry disable 随时关闭遥测，所有偏好本地存储。