
在 AI 编程助手的实际应用中,长周期会话往往导致上下文窗口溢出、Token 成本激增以及模型响应质量下降。billion-context 是一款架设在任意编程助手与其模型 API 之间的中间件插件,通过引入 acp-kernel(Agent Context Protocol)压缩重写机制,实现了“小窗口处理海量数据”的目标。该工具支持月级超长会话,能在保持 100k 左右小上下文窗口的同时,节省约 5 倍的 Token 消耗,并确保高压缩质量。

核心原理:模型自主驱动的增量压缩
与传统硬截断或宿主自带的静态摘要器不同,billion-context 采用增量、可逆且对前缀缓存友好的压缩策略。其核心逻辑是将压缩决策权交给模型本身,而非由外部规则强制干预。
代理向对话中注入四个上下文管理工具,模型根据上下文增长情况自主调用:
| 工具名称 | 功能描述 |
|---|---|
| compress | 将一段消息范围折叠成详细摘要,释放上下文空间。 |
| decompress | 当需要精确细节时,恢复某个已压缩的历史范围。 |
| search_context | 在压缩摘要与可见消息中进行关键词检索,确保信息不丢失。 |
| acp_status | 提供上下文用量概览,标识哪些区间仍可压缩。 |
这种机制使得摘要在小范围内写入,可按需解压,同时保持缓存前缀完整,从而在极低延迟下实现十亿级别单会话的持续运行。
部署模式与客户端支持
billion-context 提供了三种接入方式,覆盖了从原生集成到通用代理的多种场景:
1. 原生插件模式(Native Plugin)
这是最原生的体验,bili 作为插件直接驻留在客户端内部。安装后无需修改配置文件或使用启动器命令。
- 支持客户端:Pi, OMP, OpenCode (1.x/2.x), DSH, Kimi Code (≥2.0.0), Hermes, ZCode, Claude Code。
- 安装示例:
bili plugin install pi或bili plugin install opencode。 - 注意:原生模式与独立进程内扩展互斥,安装器会自动处理配置切换并备份原文件。
2. 启动器模式(Launcher)
通过一条命令拉起代理与客户端,适用于闭源二进制或缺乏插件接缝的工具。启动器会自动处理证书 MITM(中间人攻击)或 URL 重写,真实配置文件不被修改。
- 支持客户端:Codex, Claude, Gemini, Qwen, Antigravity, MiniMax Code, Aider, Copilot CLI, Amp, Crush, Zed, Goose, Kiro 等。
- 使用示例:
bili claude或bili codex。 - 技术细节:对于不支持代理环境变量的客户端(如 Goose),采用
/bili/路径改写或自定义 Host 覆盖。
3. URL 前缀模式(/bili/ Prefix)
最通用的接入方式。手动启动代理 bili,然后将客户端的 baseURL 修改为 http://localhost:8787/bili/<原始上游URL>。
- 适用场景:所有无法通过插件或启动器集成的客户端。
- 优势:零配置侵入,只需修改网络请求地址。
安装与快速上手
Linux / macOS 用户级安装(推荐):
npm install -g billion-context --prefix=~/.local
# 确保 ~/.local/bin 在 PATH 中
export PATH="$HOME/.local/bin:$PATH"
Windows 用户:
npm install -g billion-context
验证安装:
bili --version
关键特性与注意事项
- 端口管理:
bili start默认占用 8787 端口;启动器模式下的各客户端 lane 使用自管端口区(从 18787 起跳),避免端口冲突。 - Claude Desktop 限制:由于 Claude Desktop 应用内嵌的 Claude Code 会覆盖
ANTHROPIC_BASE_URL,目前无法通过代理拦截其流量。终端会话不受影响,但桌面端用户需注意此局限。 - Goose 客户端特殊处理:由于
rustls不信任系统 CA,Goose 需通过OPENAI_HOST/ANTHROPIC_HOST环境变量或GOOSE_PATH_ROOToverlay 进行路由。 - 安全性:代理仅对指定的上游主机进行 TLS 终结,其余流量盲透传,确保数据隐私。
billion-context 通过将复杂的上下文管理抽象为模型可调用的工具,不仅解决了长会话的性能瓶颈,还为开发者提供了一种透明、高效的 AI 交互基础设施。无论是追求极致性能的原生插件用户,还是需要兼容多种闭源工具的启动器用户,都能在其中找到适合的解决方案。
相关导航


歸藏设计 · dsh-guizang-design

Elephant-Goldfish Model

DeepSeek Bot

dsh-superagent

dsh-purge

Oh Story DSH






