Colibrì

在英伟达 NVL72 机架动辄数百万美元的今天，普通爱好者如何在本地运行前沿级的大语言模型？

意大利工程师 Vincenzo 给出的答案有些极端，却极具启发性：Colibrì。

这是一个概念验证项目，它成功地在仅配备 25GB RAM、普通 CPU 和虚拟 NVMe 驱动器的家用电脑上，运行了参数量高达 7440 亿、体积达 1.5TB 的 GLM-5.2 模型。

虽然速度慢得令人发指，但它证明了一件事：只要架构得当，巨大的模型并非只能存在于数据中心。

核心机制：动态分片与 MoE 架构

Colibrì 的核心智慧在于对 混合专家（MoE, Mixture of Experts） 架构的极致利用。

GLM-5.2 这样的 MoE 模型包含数百个“专家”子网络。在处理输入时，模型并非激活所有参数，而是按 Token 选择最相关的几个专家。

Colibrì 的工作流程如下：

1. 分片加载：模型并不整体载入内存，而是被分割成无数小块存储在硬盘上。
2. 按需读取：当处理一个 Token 时，系统判断需要哪些专家，然后从 NVMe 硬盘将这些专家的权重加载到有限的 25GB RAM 中。
3. 计算与卸载：CPU 执行计算，生成结果后，立即卸载这些权重，为下一个 Token 所需的专家腾出空间。

为了保持轻量，Colibrì 的核心逻辑仅由一个极少依赖的 C 文件构成，并对模型进行了量化处理以进一步减小体积。

现实困境：速度是最大短板

理想很丰满，现实很骨感。

在 Vincenzo 的测试环境中，Colibrì 的平均推理速度仅为 0.05 到 0.1 token/秒。这意味着生成一个简单的句子可能需要几分钟，回答一个复杂问题则需数小时。这与实时对话所需的 20-30 token/秒相去甚远。

瓶颈在哪里？

• 存储 I/O：频繁的权重加载/卸载对硬盘带宽造成了巨大压力。即使是高速 NVMe SSD，也难以满足每秒数十次的随机读取需求。
• 内存带宽：一旦存储瓶颈解决，RAM 的数据吞吐能力又成为新的限制。
• CPU 算力：最后，CPU 核心的并行处理能力决定了计算的上限。

值得注意的是，目前 Colibrì 仅在 CPU 上运行。即便未来引入 GPU，显卡与内存/硬盘之间的数据交换（PCIe 带宽）很可能成为新的瓶颈。

意义与展望

尽管目前不具备实用价值，Colibrì 的出现仍具有重要意义：

1. 隐私与主权：它证明了在完全离线、无云端依赖的环境下，运行顶级模型在理论上是可行的。
2. 降低门槛：为那些买不起高端 GPU 但拥有大容量高速 SSD 的用户提供了一条探索路径。
3. 开源协作：项目已开源，Vincenzo 正在收集基准数据并优化代码。社区可能会通过更高效的缓存策略、异步预加载等技术逐步提升速度。