LLM 推理

cpubrrr 是一个专为 Apple Silicon（特别是 M4 Max）CPU 设计的轻量级 LLM 推理运行时。它通过极致的手写优化和内存管理，实现了在完全不使用 GPU 的情况下，以显著高于 llama.cpp CPU 路径的速度运行前沿的混合专家（MoE）模型。

SonicBoom 的核心创新是彻底砍掉 Python 依赖链，构建自带 MLIR 编译层的张量运行时，依托 CUDA Graph 与算子融合提升本地 LLM 解码性能，同时具备通用张量计算能力，不只局限大模型推理。现阶段版本号 v0.0.3，仍属于早期实验版本，仅在 sm_86 显卡完成充分验证，跨 GPU 架构适配还在完善。