billion-context

4天前发布 14 00

billion-context 是一款上下文压缩代理插件,核心定位是架设在代码助手与模型 API 之间的流量中间层,基于 acp-kernel 对流做改写,主打小窗口承载超长会话,在 100k 窗口条件下最高节省 5 倍 Token,支持单会话持续运行长达数月、十亿 Token 级的长对话。

所在地:
ranxianglei
收录时间:
2026-11-12
billion-contextbillion-context

在 AI 编程助手的实际应用中,长周期会话往往导致上下文窗口溢出、Token 成本激增以及模型响应质量下降。billion-context 是一款架设在任意编程助手与其模型 API 之间的中间件插件,通过引入 acp-kernel(Agent Context Protocol)压缩重写机制,实现了“小窗口处理海量数据”的目标。该工具支持月级超长会话,能在保持 100k 左右小上下文窗口的同时,节省约 5 倍的 Token 消耗,并确保高压缩质量。

billion-context

核心原理:模型自主驱动的增量压缩

与传统硬截断或宿主自带的静态摘要器不同,billion-context 采用增量、可逆且对前缀缓存友好的压缩策略。其核心逻辑是将压缩决策权交给模型本身,而非由外部规则强制干预。

代理向对话中注入四个上下文管理工具,模型根据上下文增长情况自主调用:

工具名称功能描述
compress将一段消息范围折叠成详细摘要,释放上下文空间。
decompress当需要精确细节时,恢复某个已压缩的历史范围。
search_context在压缩摘要与可见消息中进行关键词检索,确保信息不丢失。
acp_status提供上下文用量概览,标识哪些区间仍可压缩。

这种机制使得摘要在小范围内写入,可按需解压,同时保持缓存前缀完整,从而在极低延迟下实现十亿级别单会话的持续运行。

部署模式与客户端支持

billion-context 提供了三种接入方式,覆盖了从原生集成到通用代理的多种场景:

1. 原生插件模式(Native Plugin)

这是最原生的体验,bili 作为插件直接驻留在客户端内部。安装后无需修改配置文件或使用启动器命令。

  • 支持客户端:Pi, OMP, OpenCode (1.x/2.x), DSH, Kimi Code (≥2.0.0), Hermes, ZCode, Claude Code。
  • 安装示例:bili plugin install pi 或 bili plugin install opencode。
  • 注意:原生模式与独立进程内扩展互斥,安装器会自动处理配置切换并备份原文件。

2. 启动器模式(Launcher)

通过一条命令拉起代理与客户端,适用于闭源二进制或缺乏插件接缝的工具。启动器会自动处理证书 MITM(中间人攻击)或 URL 重写,真实配置文件不被修改。

  • 支持客户端:Codex, Claude, Gemini, Qwen, Antigravity, MiniMax Code, Aider, Copilot CLI, Amp, Crush, Zed, Goose, Kiro 等。
  • 使用示例:bili claude 或 bili codex。
  • 技术细节:对于不支持代理环境变量的客户端(如 Goose),采用 /bili/ 路径改写或自定义 Host 覆盖。

3. URL 前缀模式(/bili/ Prefix)

最通用的接入方式。手动启动代理 bili,然后将客户端的 baseURL 修改为 http://localhost:8787/bili/<原始上游URL>。

  • 适用场景:所有无法通过插件或启动器集成的客户端。
  • 优势:零配置侵入,只需修改网络请求地址。

安装与快速上手

Linux / macOS 用户级安装(推荐):

npm install -g billion-context --prefix=~/.local
# 确保 ~/.local/bin 在 PATH 中
export PATH="$HOME/.local/bin:$PATH"

Windows 用户:

npm install -g billion-context

验证安装:

bili --version

关键特性与注意事项

  • 端口管理:bili start 默认占用 8787 端口;启动器模式下的各客户端 lane 使用自管端口区(从 18787 起跳),避免端口冲突。
  • Claude Desktop 限制:由于 Claude Desktop 应用内嵌的 Claude Code 会覆盖 ANTHROPIC_BASE_URL,目前无法通过代理拦截其流量。终端会话不受影响,但桌面端用户需注意此局限。
  • Goose 客户端特殊处理:由于 rustls 不信任系统 CA,Goose 需通过 OPENAI_HOST/ANTHROPIC_HOST 环境变量或 GOOSE_PATH_ROOT overlay 进行路由。
  • 安全性:代理仅对指定的上游主机进行 TLS 终结,其余流量盲透传,确保数据隐私。

billion-context 通过将复杂的上下文管理抽象为模型可调用的工具,不仅解决了长会话的性能瓶颈,还为开发者提供了一种透明、高效的 AI 交互基础设施。无论是追求极致性能的原生插件用户,还是需要兼容多种闭源工具的启动器用户,都能在其中找到适合的解决方案。

相关导航