InferSSD
InferSSD

InferSSD最新版

官方版无广告12

InferSSD 是基于 llama.cpp 搭建的开源本地大模型推理项目,核心思路是借助 SSD 承载模型权重,让设备在内存、显存容量远小于模型总大小的条件下,运行超大规模混合专家(MoE)模型。项目兼容标准 GGUF 格式模型,自带网页聊天界面,同时提供 OpenAI 兼容 API。

更新日期:
2026年11月14日
分类标签:
语言:
中文
平台:

53.7MB0 人已下载 手机查看

在大语言模型(LLM)参数规模日益膨胀的今天,显存(VRAM)和内存(RAM)容量往往成为本地部署的最大瓶颈。InferSSD 作为一个开源的本地大模型推理项目,提出了一种颠覆性的解决方案:利用高速 SSD 作为“扩展显存”,直接驱动混合专家(MoE)模型的推理过程。基于 llama.cpp 构建,InferSSD 允许用户在物理内存远小于模型体积的消费级设备上,流畅运行如 DeepSeek-V4.1-Flash-1017(763B 总参数)等超大模型,并提供浏览器聊天界面及 OpenAI 兼容 API。

InferSSD

核心原理:SSD 驱动的专家卸载

传统推理框架通常要求将模型权重全部加载至内存或显存中。InferSSD 则针对 MoE 架构的特性进行了深度优化:

  • 动态加载:仅将当前推理步骤所需的“活跃专家”权重保留在高速内存/显存中,其余海量权重存储在 SSD 上。
  • 按需读取:利用现代 NVMe SSD 的高吞吐量,在推理过程中实时从磁盘读取所需专家权重,实现“用空间换时间”的高效平衡。
  • 标准兼容:完全支持标准的 GGUF 文件格式,无需特殊的模型转换工具,即可直接加载社区发布的量化版本。

支持的模型与硬件表现

InferSSD 已针对多款主流超大参数 MoE 模型进行了测试与优化:

模型名称总参数量活跃参数推荐 GGUF 版本备注
DeepSeek-V4.1-Flash-1017763B8–16BQ8_0 (mrfakename)保持官方位宽,路由专家为原生 4 位 MXFP4
Muse-Spark-Open816B42BUD-Q4_K_XL (Unsloth)专为 SSD 卸载优化
Qwen3.6-35B-A3B35B3BUD-Q4_K_XL (Unsloth)轻量级 MoE
Qwen3.8 Flash Next177BA3BIQ4_XS (Bartowski)高效推理 variant
Gemma4 E4B7.46BE4BQAT Q4_0 (Google)使用普通 RAM 推理,无 SSD 卸载

性能基准:显著加速

在与 llama.cpp 和 Colibri 的对比测试中,InferSSD 在预填充和解码阶段均展现出巨大的速度优势,尤其是在显存受限的设备上。以下是 DeepSeek-V4.1-Flash-1017 在部分硬件上的解码速度(Token/s)对比:

硬件平台LLAMA.CPPCOLIBRIINFERSSD加速比 (vs llama.cpp)
MacBook Pro (M5 Max, 48GB)0.8730.4372.8743.29×
RTX 5060 Ti (8GB VRAM)0.2420.9002.55010.54×
RTX 5090 (32GB VRAM)0.8671.8787.2708.39×
DGX Spark (128GB Unified)1.6080.3567.2604.51×

注:在 RTX 5060 Ti 等小显存设备上,InferSSD 的性能提升尤为惊人,因为它避免了因显存不足导致的频繁交换或无法运行的问题。

快速上手指南

InferSSD 提供了极简的安装体验,支持 macOS (Apple Silicon)、Windows 11 x64 及 Linux (NVIDIA GPU)。

1. 安装

macOS / Windows (预构建包):

curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh

Linux 用户需从源码构建,确保已安装 Git, Python 3.9+, C/C++ 编译器及 CUDA Toolkit。

2. 启动模型

安装完成后,可通过命令行直接启动聊天或 API 服务。以下以 DeepSeek-V4.1 为例:

启动 CLI 聊天:

inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

启动 Web UI 及 OpenAI 兼容 API:

inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

启动后,访问 http://127.0.0.1:8080 即可在浏览器中体验,或通过 http://127.0.0.1:8080/v1 接入其他兼容 OpenAI 协议的客户端。

3. 配置说明

  • 自动下载:首次运行时,系统会自动从 Hugging Face 下载模型文件至 ~/.local/share/inferssd/models。
  • 自定义路径:使用 --model-dir 指定 SSD 存储路径,或使用 -m 指向本地已有的 GGUF 分片文件。
  • 内存管理:无需手动设置内存限制,InferSSD 会自动检测并利用可用物理内存,其余部分由 SSD 承担。

版本与更新

InferSSD 采用严格的版本控制,每个构建包含日期、提交计数及 Commit Hash(如 261106.202.03af979)。用户可以通过 inferssd --version 查看当前版本及支持的 GPU 后端能力。对于 macOS 和 Windows 用户,安装包会携带对应的元数据,便于桌面应用进行增量更新。

相关软件

Nanobrowser

Nanobrowser - 最新版

Nanobrowser 是一款开源的 AI 网页自动化工具,直接在您的浏览器中运行。作为 OpenAI Operator 的免费替代品,它提供了灵活的 LLM(大语言模型)选项和多智能体系统架构,能够实时分析网页数据并在遇到障碍时智能调整策略。所有操作均在本地浏览器中完成,确保隐私安全。