Colibri最新版

colibri 是一款极具创新性的轻量级大模型推理引擎，旨在打破硬件限制，让用户能够在现有的普通个人电脑（甚至无需独立显卡）上流畅运行参数量高达数千亿的开放权重混合专家（MoE）模型。通过巧妙的内存管理与纯 C 语言的高效实现，colibri 大幅降低了前沿 AI 模型的使用门槛。

核心工作原理：按需加载与极致轻量化

colibri 的核心优势在于其对 MoE 架构特性的深度利用：

• 磁盘级专家缓存：MoE 模型在每个 token 生成时仅激活一小部分“专家”（Experts）。colibri 仅将模型中始终活跃的核心部分保留在内存中，而将庞大的各个专家权重存储在磁盘上。当模型推理需要时，再按需从磁盘动态读取。
• 纯 C 语言实现：引擎采用纯 C 语言编写，每个模型家族仅需一个独立的源文件。这种极简的设计不仅消除了对复杂深度学习框架（如 PyTorch）的依赖，还确保了极低的系统开销和卓越的跨平台兼容性。

广泛的模型生态支持

目前，colibri 已内置支持 13 个不同领域的模型引擎，覆盖了语言、图像与决策三大场景：

1. 语言模型 (10个)：GLM-5.2/5.3、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、MiMo-V2.6 Flash (及 Pro)、Qwen3.8-Flash-Next、Qwen3.6 (兼容 Qwen3-Coder 及稠密的 Qwen3.8-27B) 以及 OLMoE。
2. 图像生成 (1个)：Qwen-Image-2.1。
3. 决策与推理 (2个)：Laya 和 GLiNER2.5-Decide（此外，Clef 决策模型也可运行在 Qwen3.6 引擎上）。

极简的跨平台部署体验

colibri 提供了“开箱即用”的一键式安装体验，最低仅需 8GB 内存（推荐 16GB+）和 22GB 磁盘空间，显卡为完全可选项。

• Windows：下载 ZIP 解压后，双击 START-HERE.bat。若无 Python 环境，脚本会自动提示并协助安装。
• Linux (Ubuntu/Debian)：通过 apt 安装基础依赖后，克隆仓库并执行 ./start-here.sh。
• macOS：通过 Homebrew 安装 libomp、git 和 python 后，克隆仓库并执行 ./start-here.sh。

智能的环境自适应与编译

安装脚本具备强大的环境检测与自适应编译能力：

1. 硬件评估：自动检查内存、磁盘空间、CPU 和 GPU，并推荐当前机器能够承载的模型。
2. 自适应编译：若系统存在编译器，将自动为当前机器编译最优引擎；若无，则下载预编译版本。
   • CPU 模式：默认回退方案，稳定可靠。
   • GPU 加速：在 Linux 环境下，若检测到 NVIDIA 显卡且安装了 CUDA Toolkit，将使用 CUDA 编译；否则使用 Vulkan。对于共享内存的集成显卡，仅对实测能带来加速的模型（如 Qwen3.6、Qwen3-Coder 等）启用 GPU 编译。若缺少依赖，脚本会给出精确的安装命令，用户安装后重新运行即可。
3. 断点续传：模型下载过程支持随时中断，再次运行脚本时将从中断处无缝继续。

开发者友好的 API 接口

启动后，colibri 会在本地运行一个轻量级服务器，并在浏览器中提供可视化的仪表盘。更重要的是，它原生提供了与主流生态兼容的 API 端点，方便开发者将其无缝集成到现有应用中：

• OpenAI 兼容：http://127.0.0.1:8000/v1
• Anthropic 兼容：http://127.0.0.1:8000

高级命令行选项

用户可通过在启动脚本后附加参数进行精细控制，例如：

• --list：列出所有模型及当前机器的兼容性分析。
• --model ID：强制安装指定 ID 的模型。
• --dir DIR：将模型文件存储至其他磁盘分区。
• --backend vulkan|cuda|cpu：手动指定引擎的构建后端。
• --reconfigure：重新配置并切换模型。