LiteLLM Agent Platform

随着 AI 编码代理（如 Claude Code、Codex、Hermes）在日常开发中的普及，如何安全、高效地管理和运行这些代理成为企业和团队面临的新挑战。LiteLLM Agent Platform 是一个自托管的基础设施平台，旨在为运行编码代理提供隔离、安全且统一的管理环境。

通过 Kubernetes 沙箱技术和中央凭证库，LiteLLM Agent Platform 让代理能够在无需接触真实密钥的情况下执行任务，同时支持通过 CLI、Web UI 或 API 进行灵活交互。

核心亮点：安全、隔离、统一

1. 隔离沙箱与凭证保护

• Kubernetes 沙箱：每个代理会话都在独立的 K8s Pod 中运行，基于 kubernetes-sigs/agent-sandbox CRD，确保环境隔离和资源限制。
• 中央凭证库：代理通过平台提供的临时凭证访问资源，无需在本地配置真实的 API Key 或数据库密码，彻底杜绝密钥泄露风险。
• 权限绕过机制：平台代理权限验证，使代理能专注于代码生成与执行，而安全策略由平台统一管控。

2. 多代理支持

目前支持主流编码代理工具：

• Claude Code
• Codex
• Hermes
• 未来可扩展支持更多兼容代理。

3. 全栈交互体验

• lap CLI：轻量级命令行工具，支持快速启动会话、连接终端TTY。
• Web UI：可视化管理界面，便于监控会话状态、查看日志和管理代理实例。
• API：可编程接口，方便集成到 CI/CD 流水线或其他自动化系统中。

快速开始：本地体验

1. 安装 lap CLI

git clone https://github.com/BerriAI/litellm-agent-platform.git
cd litellm-agent-platform/cli && npm install
ln -sf "$PWD/bin/lap.mjs" ~/.local/bin/lap

2. 连接平台并启动会话

假设你已有一个运行中的 LiteLLM Agent Platform 实例：

# 登录平台
lap login

# 启动一个新的 Claude Code 沙箱会话
lap claude-code-cli1

这将启动一个新的 K8s Pod，并通过 WebSocket 将你的本地终端连接到其 TTY。按 Ctrl-D 可分离会话，会话将在后台保持活动 24 小时。

自托管指南：本地开发环境

对于希望自行部署平台的团队，LiteLLM Agent Platform 提供了基于 kind (Kubernetes in Docker) 的本地开发方案。

前置条件

• Docker Desktop
• kind
• kubectl
• helm
• LiteLLM 网关 URL

部署步骤

# 启动本地 K8s 集群（幂等操作）
bin/kind-up.sh

# 启动平台服务（Postgres, Web, Worker）
docker compose up

部署完成后，访问 localhost:3000 即可通过 Web UI创建和管理代理。随后配置 lap CLI 指向该地址即可开始使用。

生产部署建议

对于生产环境，推荐采用以下架构以确保高可用性和安全性：

• 沙箱集群：使用 AWS EKS (Elastic Kubernetes Service) 运行代理沙箱，利用云原生能力实现弹性伸缩和安全隔离。
• 应用服务：将 Web 服务和 Worker 部署在 Render 或其他 PaaS 平台上，简化运维复杂度。
• 详细配置：参考项目 deploy/ 目录中的 Helm Charts 和 Kubernetes manifests。

无论是个人开发者希望在一个干净的环境中测试新模型，还是大型企业需要合规地规模化部署 AI 编程助手，LiteLLM Agent Platform 都提供了一个坚实、灵活且开源的解决方案。立即尝试，构建属于你的安全 AI 代理工厂。