Ollama 上线云端推理服务：免费 API 白嫖指南

356 0

Ollama 正式推出云端推理服务（Cloud Inference），并与 NVIDIA Cloud Providers 达成深度合作。这意味着用户无需本地显卡，即可通过 API 调用高性能大模型。最引人注目的是其永久免费套餐，无需绑定信用卡，真正实现了“零门槛”使用。

核心亮点

1. 真正的免费与隐私保护

无需信用卡：注册即可使用，无隐藏消费陷阱。
隐私承诺：官方明确承诺 No Logging（不记录日志）、No Training（不使用用户数据训练模型）、Zero Data Retention（零数据留存）。这对于注重隐私的开发者和企业至关重要。

2. 顶级模型阵容

云端服务汇集了当前开源界及部分闭源界的顶尖模型，涵盖多语言、代码、推理及多模态能力：

Google: Gemma 4
Alibaba: Qwen 3.5 (通义千问)
Moonshot: Kimi K2.5
Zhipu AI: GLM-5
OpenAI: GPT-OSS (开源版本)
MiniMax: MiniMax M2.7
更多模型持续更新中…

3. 全功能支持

原生兼容：完全兼容 Ollama API，只需更改 host 即可无缝迁移本地工作流。
高级特性：支持 Tool Calling（工具调用）、Vision（视觉理解）、Thinking（思维链/深度推理）以及 Streaming（流式输出）。

4. 全球低延迟节点

提供多个可用区，确保全球访问速度：

美西 (US West)
美东 (US East)
欧洲 (Europe)
新加坡 (Singapore)

⚠️ 免费套餐限制

虽然免费，但为了保证资源公平分配，设有以下限制：

并发限制：每个账户同时只能运行 1 个模型。
用量配额：按 GPU 时间 计费。
- 重置机制：每 5 小时 刷新一次小额额度，且每周有双重重置机制（具体额度以官网实时显示为准，通常足以满足个人开发和测试需求）。

🛠️ 快速开始指南

第一步：获取 API Key

访问 Ollama 官网注册并登录。
进入 Settings > Keys 页面。
点击 “Create Key” 生成你的 API Key。

第二步：配置客户端

方式 A：使用 OpenAI 兼容格式（推荐）

大多数现代 LLM 客户端（如 LangChain, LlamaIndex, Cursor, Continue 等）都支持 OpenAI 格式。

Base URL: https://ollama.com/v1
API Key: 你在第一步生成的 Key
Model: 例如 gemma4:latest, qwen3.5:latest

Python 示例:

from openai import OpenAI

client = OpenAI(
    base_url="https://ollama.com/v1",
    api_key="your-api-key-here" # 替换为你的 API Key
)

response = client.chat.completions.create(
    model="gemma4:latest",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="")

方式 B：使用 Ollama CLI / Library

如果你使用官方的 Ollama Python/JS 库或 CLI，只需设置环境变量或修改 host。

CLI 示例:

export OLLAMA_HOST=https://ollama.com
export OLLAMA_API_KEY=your-api-key-here

ollama run gemma4:latest "Hello world"

Python Library 示例:

import ollama

client = ollama.Client(host='https://ollama.com', headers={'Authorization': 'Bearer your-api-key-here'})

response = client.chat(model='gemma4:latest', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])

print(response['message']['content'])