ghost-infer
ghost-infer

ghost-infer最新版

官方版无广告6

ghost-infer 是轻量 Rust 编写的本地 GGUF 推理程序,主打单用户、单消费级 GPU场景,附带桌面客户端,提供 OpenAI 兼容 API;针对 MoE 混合专家模型做了专项优化,在显存不足、模型大于 GPU 显存时对比 llama.cpp、Ollama 有明显提速。

更新日期:
2026年11月15日
分类标签:
语言:
中文
平台:

18.7MB0 人已下载 手机查看

ghost-infer 是一款基于 Rust 编写的轻量级本地大语言模型(LLM)推理工具。与为数据中心设计的重型引擎不同,它专为“单人、单卡、单模型”的消费级场景深度调优。通过创新的显存管理策略和精确推测解码技术,ghost-infer 能够在显存远小于模型体积的 NVIDIA 显卡上,以超越 llama.cpp 和 Ollama 的速度流畅运行大型混合专家(MoE)模型,并提供 OpenAI 兼容 API 及功能丰富的桌面应用。

ghost-infer

核心突破:小显存跑大模型

ghost-infer 的核心优势在于其对混合专家(MoE)模型的极致优化。针对 MoE 模型每层仅激活少数专家的特性,它采用了一种独特的分层执行策略:

  • 注意力在 GPU:所有层的注意力计算均保留在 GPU 张量核心上,确保长上下文处理的高速性。
  • 专家在 RAM:将庞大的专家权重存储在系统内存(RAM)中,并在 GPU 上缓存高频使用的专家。
  • CUDA 图并行:每一层作为一个独立的 CUDA 图运行,由 GPU 自主调度专家选择,避免了 CPU 等待造成的瓶颈。

性能对比(RTX 2060 SUPER, 8GB VRAM):

模型ghost-inferllama.cppOllama提升幅度
Qwen3.6-35B-A3B (16.8GB)80.5 tok/s39.5 tok/s34.7 tok/s~2x
Qwen3-30B-A3B (13.7GB)68.7 tok/s29.5 tok/s26.9 tok/s~2.3x
Qwen3 8B (5GB)75.3 tok/s64.7 tok/s65.8 tok/s~1.2x

此外,ghost-infer 支持精确推测解码,通过猜测后续 Token 并一次性验证,在不改变输出文本的前提下显著提升生成速度(在代码编辑等重复性工作中可达 3.2 倍加速)。

主要功能特性

1. 即插即用的 OpenAI 兼容服务器

  • 提供标准的 /v1/chat/completions 接口,支持流式传输和工具调用。
  • 无需修改配置即可直接接入 Cursor、Claude Code、LangChain 等主流 AI 开发框架和编辑器插件。
  • 极小的二进制体积(约 3.8 MB),无 Python 或 Docker 依赖,首次启动时自动编译 GPU 代码。

2. 强大的桌面应用:文件智能体与语音伙伴

  • 文件智能体:模型可直接读取、编辑本地文件并执行命令,具备权限确认、任务列表及后台作业管理能力。
  • 语音通话 (Maya):内置语音交互伙伴 Maya,支持出声回答并记忆通话内容。语音识别与合成均在本地 GPU 上运行,保护隐私。
  • 多语言支持:界面支持英语和中文,可跟随 Windows 系统语言或手动设置。

3. “睡眠训练”:在本地持续进化

  • 实验性功能:每晚自动分析当天的聊天记录,提取值得记忆的事实。
  • LoRA 微调:将这些事实训练到一个小规模的 LoRA 适配器中(如针对 Qwen3-4B),并在使用前进行严格校验(确保事实准确、通用能力不退化、工具调用正常)。
  • 隐私安全:所有训练数据仅存在于本地,用户可随时查看学习内容或删除特定记忆。

4. 高效的长上下文处理

  • 利用张量核心加速注意力计算,无论写入还是读取提示,速度均保持恒定。
  • 128K Token 的提示读取仅需约 4 分钟(传统引擎可能需 28 分钟),64K 上下文后生成速度仍维持在 49 tokens/s。
  • 支持 4 位 KV 缓存(--kv q4),大幅降低长聊天的显存占用。

安装与使用

Windows 用户:

下载 GhostSetup 安装包,无需管理员权限即可运行。应用会自动引导下载推荐模型(如 Qwen3.6-35B-A3B)或使用本地已有的 GGUF 文件。

从源码构建:

git clone https://github.com/affifuddin-hazam/ghost-infer
cd ghost-infer
cargo build --release
# 启动服务
target\release\ghost-infer serve models\Qwen3-8B-Q4_K_M.gguf --gpu

系统要求:

  • 操作系统:Windows 10 或 11
  • GPU:NVIDIA GTX 10 系列及以上,需安装最新驱动程序
  • CPU:支持 AVX2 指令集

相关软件

Prism

Prism - 最新版

Prism 是一款开源的桌面 AI 翻译应用,支持 Windows、macOS 和 Linux,内置 AI 翻译 + OCR 截图识别,所有数据本地存储,且完全兼容 OpenAI 协议——你可以自由接入任何支持该协议的模型服务。
ApkClaw

ApkClaw - 最新版

ApkClaw 作为全球首款基于 OpenClaw 框架开发的手机端 AI 智能体工具,它能让任何一台 Android 9+ 的闲置手机瞬间变身 7×24 小时工作的“超级自动化助手”。