BaseRT

BaseRT 是一款专为 Apple Silicon（M 系列芯片）优化的超高速大语言模型（LLM）推理引擎。它通过手写的 Metal 内核实现底层加速，提供了一个统一的命令行界面（CLI），让用户能够轻松地从 Hugging Face 拉取模型、进行本地聊天或部署 OpenAI 兼容的 API 服务。

BaseRT 不仅仅是一个运行时，更是一个围绕其专有 .base 模型格式构建的开放生态系统，支持 Python、Node、Rust 和 Swift 等多种语言绑定，旨在为开发者提供极致性能与灵活性的平衡。

核心亮点

• ⚡ 极致性能：基于手写 Metal 内核优化，充分利用 Apple Silicon 的 GPU 算力，实现目前 macOS 平台上最快的本地推理速度。
• 🛠️ 全能 CLI 工具：一个命令处理所有任务——pull（下载）、chat（聊天）、serve（服务）、convert（转换）。
• 🔌 OpenAI 兼容 API：内置 HTTP 服务器，支持聊天、补全、嵌入、转录、工具调用、连续批处理、分页 KV 缓存和前缀缓存，无缝对接现有 AI 应用生态。
• 📦 自有 .base 格式：支持仿射量化、可选的 AWQ 校准及 ed25519 签名捆绑包，确保模型加载速度与安全性。
• 🌍 多模态支持：原生支持文本、视觉（Vision）和音频（Audio）模型。
• 🧩 广泛的语言绑定：通过稳定的 C API，提供 Python、Node.js、Rust 和 Swift 的原生绑定，方便集成到各类应用中。

快速开始

1. 安装

通过官方脚本一键安装引擎和 CLI：

curl -LsSf https://basecompute.co/install.sh | sh

安装完成后请重启 Shell 以生效 PATH 配置。

2. 拉取模型

从 Hugging Face 下载并自动转换为高效的 .base 格式：

basert pull Qwen/Qwen3-4B
basert list  # 查看已安装的模型

3. 交互式聊天

basert chat Qwen/Qwen3-4B

4. 启动 OpenAI 兼容服务

basert serve Qwen/Qwen3-4B --api-key "$(uuidgen)" --port 8080

随后即可使用标准的 OpenAI SDK 或 curl 调用本地接口。

5. 编程调用示例 (Python)

import baseRT
model = baseRT.Model("models/your-model.base")
print(model.generate_text("法国的首都是", max_tokens=64))

作为编码智能体后端

BaseRT 是 pi 编码智能体的推荐本地后端。通过 pi-basert 扩展，开发者可以在本地运行高性能的编码助手：

1. 启动服务：basert serve basecompute/gemma-4-E2B-it
2. 安装扩展：pi install git:github.com/basecompute/pi-basert
3. 连接模型：在 pi 中运行 /model 选择已提供的模型。

常用命令速查

系统要求

• 硬件：Apple Silicon Mac (M1/M2/M3/M4 系列)。
• 操作系统：macOS 14 (Sonoma) 或更高版本。