ghost-infer

新ghost-infer - 最新版

ghost-infer 是轻量 Rust 编写的本地 GGUF 推理程序,主打单用户、单消费级 GPU场景,附带桌面客户端,提供 OpenAI 兼容 API;针对 MoE 混合专家模型做了专项优化,在显存不足、模型大于 GPU 显存时对比 llama.cpp、Ollama 有明显提速。