InferSSD

新InferSSD - 最新版

InferSSD 是基于 llama.cpp 搭建的开源本地大模型推理项目,核心思路是借助 SSD 承载模型权重,让设备在内存、显存容量远小于模型总大小的条件下,运行超大规模混合专家(MoE)模型。项目兼容标准 GGUF 格式模型,自带网页聊天界面,同时提供 OpenAI 兼容 API。