BaseRT

BaseRT 是一款专为 Apple Silicon（M 系列芯片）优化的超高速大语言模型（LLM）推理引擎。它通过手写的 Metal 内核实现底层加速，提供了一个统一的命令行界面（CLI），让用户能够轻松地从 Hugging Face 拉取模型、进行本地聊天或部署 OpenAI 兼容的 API 服务。