在本地运行大语言模型(LLM)时,框架的作用往往比模型本身更关键。由于本地模型通常面临上下文窗口较小、工具调用能力较弱等限制,一个优秀的框架能够通过状态管理、权限控制和上下文反馈来弥补这些短板。

本指南基于 2026 年 9 月 18 日 的 GitHub 数据,根据 OSI 许可证、本地运行时支持文档、维护状态和安全控制四个维度,对 11 个主流开源代理框架进行了排名与解析。
本地部署前的三条铁律
在挑选框架前,请务必优化你的基础环境:
- 扩大上下文窗口:
- Ollama 默认上下文随显存变化(<24GB 为 4k, >48GB 为 256k)。
- 建议:代理和编码任务至少需要 64k 令牌。
- 操作:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
- 选择支持工具调用的模型:
- 避免使用仅支持聊天补全的模型。
- 提示:使用
llama.cpp时加上--jinja标志以启用兼容的工具调用模板。
- 诚实评估内存预算:
- 16-32GB RAM:适合小型量化模型。
- 32-64GB RAM:适合中型编码模型(如 Qwen3.6 ~24GB 显存需求)。
- 64GB+ RAM:适合更大参数模型或复杂多代理工作流。
🏆 Top 11 框架排名与解析
1. OpenCode 🥇
- 特点:文档最详尽,支持 Ollama、LM Studio 和 llama.cpp 三种本地路径。内置
build(全权限)和plan(只读+询问)双代理模式。 - 优势:设置极简(
ollama launch opencode),支持 75+ 提供商,工具调用失败时有明确的调试建议。 - 最适合:希望在单一终端工具中获得最稳定、文档最全本地体验的开发者。
2. Pi 🥈
- 特点:极简主义,仅保留 read/write/edit/bash 四个核心工具。原生支持 llama.cpp 路由器服务器,可按需加载多个 GGUF 模型。
- 注意:无内置权限系统,以用户权限运行。强烈建议在 Docker 或沙箱中运行。
- 最适合:资源受限环境,或使用小型本地模型、希望最大化代码上下文的场景。
3. Goose 🥉
- 特点:由 Linux 基金会代理型 AI 基金会(AAIF)治理,Rust 编写,性能优异。支持最多的本地运行时(Ollama, LM Studio, Ramalama 等)。
- 优势:拥有 70+ MCP 扩展,治理中立,适合企业级通用自动化。
- 最适合:寻求中立基金会背书、超越代码编写的通用自动化任务。
4. Cline
- 特点:VS Code 集成度最高。默认所有文件编辑和命令需批准,提供 Plan/Act 模式分离策略与执行。
- 注意:VS Code 扩展开源 (Apache-2.0),但 JetBrains 插件闭源。
- 最适合:VS Code 用户,重视“人在环路”审批流程的开发团队。
5. OpenHands
- 特点:提供极其具体的硬件和模型建议(首选 Qwen3.6-35B-A3B)。强调容器化部署。
- 陷阱:Linux 下 LM Studio 默认绑定 localhost,需开启“局域网服务”以便 Docker 容器访问。
- 最适合:在工作站或服务器 GPU 上运行长时间、容器化的复杂任务。
6. Aider
- 特点:Git 原生结对编程。通过
whole或diff格式返回编辑,而非依赖脆弱的函数调用。自动调整窗口大小以应对 Ollama 的静默丢弃问题。 - 现状:更新频率较低(2026 年 2 月后暂无大版本),但稳定性高。
- 最适合:与工具调用能力较弱的模型配合,进行严格的 Git 版本控制开发。
7. Codex CLI
- 特点:Apache-2.0 许可,内置 Ollama 和 LM Studio 提供商。硬性要求:本地服务器必须暴露
/v1/responses(Responses API) 端点。 - 优势:包含针对 Linux/Windows 的专用沙箱 crate。
- 最适合:标准化使用
gpt-oss系列模型且重视内置沙箱安全的团队。
8. Qwen Code
- 特点:源自 Google Gemini CLI,后独立发展。专为 Qwen 开放权重模型优化,支持 Ollama 和 vLLM。
- 最适合:深度绑定 Qwen 生态,希望框架与模型同源调优的用户。
9. Kilo Code
- 特点:OpenCode 的分支(前身是 Roo Code 分支)。2026 年 4 月重建了 VS Code 扩展。
- 局限:本地模型通常缺乏提示缓存和计算机使用能力。
- 最适合:前 Roo Code 用户,寻找有持续维护和本地支持的替代方案。
10. Hermes Agent
- 特点:Nous Research 出品,非纯编码工具,而是通用个人代理。具备从经验中学习技能的循环,支持跨会话记忆。
- 集成:通过消息网关连接 Telegram, Discord, Slack 等。
- 最适合:构建持久运行的个人生活/工作助理,而非单纯的代码生成器。
11. OpenClaw
- 特点:Star 数最多,定位为“消息优先”的个人助理。通过中央网关桥接各类消息服务。
- 安全:首次启动有严格的安全通知,因其直接连接个人消息账户。
- 最适合:高级用户,愿意投入精力管理安全表面,构建全渠道消息助理。
关键建议
- 上下文是王道:在抱怨模型笨之前,先检查是否将上下文设置到了 64,000 tokens。
- 沙箱不可少:像 Pi 这样极简的框架,必须依靠外部沙箱(Docker/VM)来保障安全。
- API 兼容性:Codex CLI 等新框架可能只支持最新的 Responses API,确保你的本地后端(如 Ollama/LM Studio)已更新并暴露正确端点。
- 许可证审查:注意区分组件许可证,例如 Cline 的 JetBrains 插件是闭源的,而 Crush 使用的是 FSL 许可证。
选择框架时,请根据你的硬件配置、安全需求以及主要工作流(编码 vs 通用自动化)进行权衡。对于大多数本地编码用户,OpenCode 和 Cline 是目前最稳妥的选择;而对于追求极致轻量和控制权的极客,Pi 和 Aider 值得深入探索。
© 版权声明
文章版权归作者所有,未经允许请勿转载。















