FreeLLMAPI 

在各大 AI 实验室纷纷提供免费额度的今天，单个服务的限额往往显得捉襟见肘。FreeLLMAPI 是一个开源的本地网关项目，它将来自 Google、Groq、Cerebras、NVIDIA、Mistral 等 11 家主流服务商的免费额度聚合到一个统一的 /v1/chat/completions 端点中。

通过智能路由和自动故障转移机制，FreeLLMAPI 为你提供了每月约 10 亿+ Token 的有效推理容量，让开发者能够以零成本享受从快速轻量到高性能模型的多样化服务。

核心亮点：为何需要 FreeLLMAPI？

1. 聚合 11 家免费服务商

FreeLLMAPI 整合了以下平台的免费层级：

• Google: Gemini 2.5 Flash, 3.x 预览版
• Groq: Llama 3.3, Llama 4, GPT-OSS, Qwen3
• Cerebras: Qwen3 235B
• SambaNova: DeepSeek V3.x, Llama 4, Gemma 3
• Mistral: Large 3, Medium 3.5, Codestral
• OpenRouter: 19 种免费模型
• GitHub Models: GPT-4.1, GPT-4o
• Cloudflare: Kimi K2, GLM-4.7, GPT-OSS
• Cohere: Command R+, Command-A
• Z.ai (智谱): GLM-4.5, GLM-4.7 Flash
• NVIDIA: NIM

2. 智能路由与自动故障转移

• 最佳模型选择：路由算法会根据请求类型和当前限额状态，自动选择最佳可用模型。
• 无缝切换：当某个服务商返回 429（限流）、5xx 错误或超时，系统会自动跳过该密钥，短暂冷却后切换到备选模型重试，确保请求成功率。
• 粘性会话：多轮对话会在 30 分钟内保持使用同一模型，保证上下文一致性。

3. 安全与统一管理

• 加密存储：所有 API 密钥在存入 SQLite 前均使用 AES-256-GCM 加密，仅在内存中临时解密，保障密钥安全。
• 统一密钥：客户端只需使用一个 freellmapi-... 令牌即可访问所有后端服务，无需在代码中硬编码多个密钥。
• 速率追踪：实时跟踪每个平台、模型和密钥的 RPM/RPD/TPM/TPD，确保不超出免费额度上限。

4. 可视化管理仪表板

内置基于 React + Vite + shadcn/ui 的管理界面，方便用户：

• 添加和管理服务商密钥。
• 调整故障转移链顺序。
• 查看详细的请求分析数据（延迟、Token 数、成功率）。
• 在 Playground 中测试提示词。

快速开始指南

1. 前置条件

• Node.js 20+
• npm

2. 安装与配置

# 克隆仓库
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi

# 安装依赖
npm install

# 生成加密密钥并创建 .env 文件
cp .env.example .env
echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env

# 启动开发服务器（包含前端仪表板）
npm run dev

3. 配置密钥

1. 打开浏览器访问 http://localhost:5173。
2. 在 “Keys” 页面添加各服务商的 API Key。
3. 在 “Fallback Chain” 中调整模型优先级。
4. 复制顶部生成的统一 API Key。

4. 生产部署

npm run build
node server/dist/index.js

注：支持在 PM2 下运行，甚至可以在树莓派上轻松部署。

三、 使用示例

FreeLLMAPI 完全兼容 OpenAI SDK，只需修改 base_url 和 api_key 即可无缝接入现有项目。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key="freellmapi-your-unified-key",
)

# 使用 "auto" 让路由自动选择模型，或指定具体模型如 "gemini-2.5-flash"
resp = client.chat.completions.create(
    model="auto", 
    messages=[{"role": "user", "content": "用一句话概括罗马帝国的衰落。"}],
)

print(resp.choices[0].message.content)
# 查看请求实际路由到了哪个服务商
print("Routed via:", resp.headers.get("x-routed-via"))

局限性与注意事项

• 非前沿模型：免费层级通常对应中等规模模型（如 Llama 3.3 70B、GLM-4.5），无法获得 GPT-5 或 Claude Opus 级别的顶级推理能力。
• 性能波动：随着每日免费额度的消耗，路由可能会回退到较小或较慢的模型；不同服务商的延迟差异较大（Groq/Cerebras 极快，其他可能较慢）。
• 本地优先：该项目设计为个人自用，不支持多租户认证，不建议直接暴露于公网。
• 功能限制：目前仅支持文本聊天，暂不支持嵌入、图像生成、音频或多模态输入。

FreeLLMAPI 是一个极具创意的“薅羊毛”利器，它通过技术手段将分散的免费资源整合成一股强大的合力。对于个人开发者、学生或小型初创团队而言，它提供了一个零成本、高可用性的大模型接入方案。