在本地运行大型开源语言模型（LLM）往往受限于昂贵的 GPU 硬件和高昂的电力成本。然而，借助 Kaggle 提供的免费云端算力，结合 Ollama 和 ngrok，你可以在无需任何本地 GPU 的情况下，轻松搭建一个高性能、可远程访问的私人 AI 聊天服务。
本指南将带你一步步在 Kaggle 上部署 Ollama 后端，并通过 ngrok 内网穿透，让你在手机、平板或任何电脑上随时与大模型对话。
为什么选择 Kaggle？
相较于 Google Colab 动态分配且不透明的配额机制，Kaggle 提供了更稳定、可预测的自由层级：
- 免费 GPU：每周提供 30 小时 的免费 GPU 使用时长（支持 NVIDIA T4 x2 或 P100）。
- 会话持久性：单个会话最长可持续 12 小时，适合长时间推理或轻量级训练。
- 高速网络：依托 Google 数据中心，下载 HuggingFace 模型速度极快（1-2 GBps）。
- 清晰配额：界面实时显示剩余 GPU 时长，避免任务中途意外中断。
注意：首次使用需通过手机号验证账户以解锁 GPU 权限。
核心架构：云端后端 + 内网穿透
由于 Kaggle 运行在远程服务器上，我们无法直接通过 localhost 访问。因此，架构如下：
- Kaggle Notebook：运行 Ollama 服务，加载大模型。
- ngrok：建立安全隧道，将 Kaggle 内部的 Ollama 端口（11434）映射为公网 URL。
- 前端客户端：手机或电脑上的 AI 聊天应用（如 ChatWise、OpenWebUI），通过 ngrok URL 连接云端后端。
实战步骤：五步搭建云端 AI
1. 创建并配置 Notebook
- 登录 Kaggle，点击 “New Notebook”。
- 在右侧设置栏中，将 Accelerator 设置为 GPU T4 x2。
- 确保 Internet 选项已开启（用于下载模型和连接 ngrok）。
2. 安装依赖环境
在第一个代码单元格中粘贴并运行以下命令，安装必要的工具：
!apt-get install -y zstd
!pip install pyngrok
!curl -fsSL https://ollama.com/install.sh | sh
3. 配置 ngrok 认证
注册 ngrok 并获取你的 Auth Token。在第二个代码单元格中替换并运行：
from pyngrok import ngrok
# 替换为你自己的 ngrok token
ngrok.set_auth_token("YOUR_NGROK_AUTH_TOKEN")
4. 启动 Ollama 并拉取模型
在第三个代码单元格中，启动 Ollama 服务并下载你喜欢的模型（此处以 Llama 3.2 为例）：
import subprocess, time, os
# 允许外部访问
os.environ["OLLAMA_HOST"] = "0.0.0.0"
os.environ["OLLAMA_ORIGINS"] = "*"
# 后台启动 Ollama
subprocess.Popen(["ollama", "serve"])
time.sleep(5)
# 拉取模型 (可替换为 mistral, qwen2.5 等)
!ollama pull llama3.2
5. 获取公网访问链接
在第四个代码单元格中，启动 ngrok 隧道并打印公网 URL：
import subprocess, time, requests
# 启动 ngrok 隧道，映射 11434 端口
subprocess.Popen(["ngrok", "http", "11434", "--request-header-add", "ngrok-skip-browser-warning:true"])
time.sleep(3)
# 获取并打印公网 URL
tunnels = requests.get("http://localhost:4040/api/tunnels").json()
public_url = tunnels["tunnels"][0]["public_url"]
print(f"Copy this URL to your client: {public_url}")
运行后，控制台将输出一个以 https:// 开头的 URL，请复制保存。
连接前端：随时随地聊天
现在，你的云端 AI 服务已就绪。只需在任意设备上配置前端即可：
- Android/iOS：下载支持自定义 Ollama 后端的 App（如 “Ollama” 或 “Chatbox”）。在设置中将 Host/API Base URL 替换为刚才复制的 ngrok URL。
- macOS/Windows：使用 ChatWise、LibreChat 或 OpenWebUI。在提供商设置中选择 Ollama，填入 ngrok URL。
- 浏览器：直接访问 OpenWebUI 部署实例，并在设置中更改后端地址。
连接成功后，你将体验到由 Kaggle T4 GPU 驱动的流畅对话，令牌生成速度远超普通 CPU 本地运行。
进阶提示与注意事项
- 模型选择：Kaggle T4 GPU 显存约为 16GB (x2 协同)，建议运行 7B-13B 参数量的量化模型（如 Q4_K_M），以获得最佳速度与质量平衡。
- 会话保活：Kaggle 会在无操作一段时间后断开连接。建议保持浏览器标签页活跃，或定期发送简单请求以维持会话。
- 安全性：ngrok 免费版 URL 每次重启后会变化，且默认无密码保护。请勿在公共场合分享 URL，或在生产环境中添加基本身份验证。
- 无审查模型：得益于云端环境的独立性，你可以自由运行各类开源模型，包括那些在本地可能受限的“去对齐”（abliterated）版本，探索更纯粹的 AI 能力。
通过 Kaggle + Ollama + ngrok 的组合，我们成功打破了本地硬件的限制，以零成本实现了高性能大模型的云端部署。这不仅为开发者提供了灵活的测试环境，也为普通用户打开了一扇通往开源 AI 世界的大门。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
