Octopus最新版

Octopus 是一款专为个人开发者或小型团队设计的 轻量级 LLM API 聚合平台。它能统一管理来自多个供应商（如 OpenAI、Anthropic、Gemini 等）的模型渠道，通过负载均衡、协议转换、自动同步等能力，简化 API 调用、提升服务稳定性，并提供完整的用量统计与费用追踪。

无需修改客户端代码，只需将 API 请求指向 Octopus，即可享受多渠道冗余与成本优化。

核心特性

快速开始

方式一：Docker（推荐）

# 直接运行
docker run -d \
  --name octopus \
  -v /your/data/path:/app/data \
  -p 8080:8080 \
  bestrui/octopus

# 或使用 docker-compose
wget https://raw.githubusercontent.com/bestruirui/octopus/refs/heads/dev/docker-compose.yml
docker-compose up -d

方式二：二进制文件

1. 从 GitHub Releases 下载对应平台的可执行文件
2. 运行：

   ./octopus start
   

访问管理面板

首次启动后，打开浏览器访问：

http://localhost:8080

• 默认账号：admin
• 默认密码：admin

⚠️ 安全提示：请务必在首次登录后修改默认密码。

配置说明

配置文件路径：data/config.json（首次启动自动生成）

基础配置示例

{
  "server": {
    "host": "0.0.0.0",
    "port": 8080
  },
  "database": {
    "type": "sqlite",
    "path": "data/data.db"
  },
  "log": {
    "level": "info"
  }
}

数据库支持

💡 MySQL / PostgreSQL 需预先创建数据库，表结构由程序自动初始化。

环境变量覆盖

所有配置项可通过环境变量设置，前缀为 OCTOPUS_：

OCTOPUS_SERVER_PORT=8081
OCTOPUS_DATABASE_TYPE=postgres
OCTOPUS_LOG_LEVEL=debug

核心功能详解

1. 渠道管理（Channel）

• Base URL 填写规则：只需填写基础域名，无需包含 API 路径
  程序会根据渠道类型自动补全：

2. 分组管理（Group）

• 核心概念：分组名称 = 对外暴露的模型名
• 调用时，只需设置 model: your-group-name
• 负载均衡策略：
  • 轮询：依次切换渠道
  • 随机：均匀随机分配
  • 故障转移：主渠道失败后自动降级
  • 加权分配：按权重比例分配流量

✅ 示例：创建分组 gpt-4o，加入 3 个不同供应商的 GPT-4o 渠道，客户端统一调用 model: gpt-4o，Octopus 自动路由。

3. 价格管理

• 数据来源：
  • 自动同步 models.dev 的官方价格
  • 支持手动为任意模型设置自定义价格（优先级更高）
• 用途：精确计算 Token 费用，支持多供应商成本对比

4. 统计与监控

• 记录每条请求的：
  • 输入/输出 Token
  • 实际消耗费用（按渠道价格）
  • 响应延迟
  • 使用的渠道与分组
• 性能优化：统计数据先缓存在内存，按周期批量写入数据库（默认周期可配置）

⚠️ 重要：请使用 Ctrl+C 或 SIGTERM 正常关闭服务，避免内存中未写入的统计数据丢失。

使用场景

• 个人开发者：统一管理多个 API Key，避免单点故障
• 成本敏感用户：自动切换至低价渠道，或按模型动态选择最优供应商
• 协议兼容需求：将 Anthropic / Gemini 请求转换为 OpenAI 格式，兼容现有客户端
• 用量审计：追踪各应用、各模型的实际 Token 消耗与支出