TokenHub 

TokenHub 是一款专为现代企业设计的私有化部署 AI 网关，旨在解决企业在引入大语言模型（LLM）过程中面临的管理混乱、成本不可控及安全合规难题。它通过精细化的角色权限管理、统一的路由策略和深度的用量审计，将分散的 AI 服务整合为一个安全、高效且可观测的统一入口。

TokenHub 支持 OpenAI 兼容 API，能够无缝对接 OpenAI、Azure、Anthropic、Gemini、DeepSeek、Qwen 以及本地 vLLM/Ollama 等多种上游 Provider，实现模型的集中管控与智能调度。

核心设计理念：分角色工作台

TokenHub 摒弃了“一刀切”的管理界面，而是根据企业内部的不同职能，设计了三个清晰的工作台，确保每位用户只关注与其职责相关的信息：

关键平台能力

1. 🌐 统一的 OpenAI 兼容接口

• 提供标准的 /v1/chat/completions、/v1/responses 和 /v1/embeddings 端点。
• 应用层无需修改代码即可切换底层模型或 Provider，极大降低了迁移和维护成本。

2. 🔄 智能路由与高可用

• 多 Provider 支持：兼容主流云端模型及本地私有化模型。
• 高级路由策略：支持基于优先级、权重的流量分发，以及故障自动回退（Failover）。
• 健康诊断：实时监控上游 Provider 的健康状态，自动剔除异常节点，确保服务连续性。

3. 🔑 精细化的密钥与权限管理

• 项目级 Key：支持按项目归属创建 API Key，绑定特定的团队成员、额度限制及并发控制。
• RBAC 与身份集成：支持 OAuth/OIDC 企业级登录，结合细粒度的角色访问控制（RBAC），确保操作合规。

4. 📊 深度审计与成本归因

• 全链路日志：记录每一次请求的详细元数据，可归因到具体用户、项目、团队及成本中心。
• 实时统计：提供多维度的用量报表，帮助财务和技术团队精准掌握 AI 支出。

架构与部署：从单机到集群

TokenHub 采用 SQLite-first 的设计哲学，兼顾轻量启动与生产扩展：

• 快速上手（单机模式）：
  • 内置 Docker Compose 一键部署脚本 (./deploy/install.sh)。
  • 默认使用 SQLite 存储配置与状态，适合中小规模团队或测试环境。
• 生产扩容（多实例模式）：
  • 基于 PostgreSQL 实现状态共享，支持前后端水平扩展。
  • 通过 Nginx 进行负载均衡，后端副本利用 PostgreSQL 的集群锁和租约机制处理并发任务，避免时钟偏差导致的数据冲突。
  • 支持 --scale 参数灵活调整前后端实例数量，满足高并发需求。

快速开始

1. 准备环境：

   cp deploy/.env.example deploy/.env
   # 编辑 .env 文件，将所有 'change-me' 替换为强密钥
   

2. 一键安装：

   ./deploy/install.sh
   

3. 访问服务：
   • 管理后台：http://localhost:3000 (初始账号: admin / 密码见 .env)
   • API 网关：http://localhost:8080
   • 健康检查：http://localhost:8080/healthz