Splash

Splash 是由 Inco AI 开发的一款开源本地 AI 推理引擎，专门针对 Apple Silicon 架构进行了深度优化。它旨在为 Mac 用户提供高效的本地大模型运行环境，支持部署编码代理以及兼容 OpenAI 或 Anthropic 格式的应用程序。

核心技术与性能表现

Splash 1.4 版本通过多项底层优化显著提升了推理效率。其核心机制结合了 DFlash 2 推测解码技术、专为 Apple Metal 架构编写的定制化内核，以及自动内存规划。系统能够智能重用缓存的前缀，并自动批处理并发请求，从而最大化硬件利用率。

根据官方在 M5 Pro（64GB 统一内存）Mac 上的测试数据，运行 Qwen3.8-Flash-Next (Q2_0) 模型时，Splash 1.4 展现出优异的性能：

• 最高回答生成速度 (Decode)：120 tokens/s
• 短输入生成速度：95 tokens/s
• 32K 输入处理速度 (Prefill)：1,312 tokens/s
• 对比竞品：整体速度比同类工具 Strata 快约 30%。

(注：100 万 tokens 为软件支持的上下文设置上限，实际运行速度会受具体硬件配置和上下文长度影响。)

模型支持与格式兼容性

Splash 支持多种主流模型家族，并能自动选择匹配的 DFlash 2 草稿模型以加速推理。目前支持的模型包括：

• Qwen3.8-27B (支持 Unsloth GGUF 变体及 MLX 4-bit)
• Qwen3.6-35B-A3B (支持 Unsloth GGUF 变体及 MLX 4-bit)
• Qwen3.8-Flash-Next (支持 ISTA-DASLab 的 GSQ-RCO-GGUF:Q2_0 等变体)
• Prism ML Ternary Bonsai 2 (支持 PQ2_0 格式，包含视觉能力)

引擎广泛支持 1 至 8 位的量化格式，包括混合精度 UD 格式（如 UD-Q4_K_M、UD-Q8_K_XL），并兼容加载 BF16 张量。同时，它也支持 MLX 目标的仿射 2-8 位量化（含 mxfp4 或 nvfp4），以及 NVIDIA/Unsloth 的 NVFP4 检查点和 GGUF 文件。对于内存较小的设备（如 24GB Mac），可通过选择较小的量化变体来流畅运行。

功能特性与 API 兼容

除了纯粹的推理加速，Splash 还提供了一套完整的开发生态：

• API 兼容性：原生支持 OpenAI 的 Chat Completions、Responses、Completions 接口，以及 Anthropic 的 Messages 接口。支持流式传输、工具调用、JSON Schema 结构化输出，以及 base64 格式的图像和 PDF 输入。
• 内置工具：提供内置的聊天页面，并预置了多种编码代理的快捷启动命令（如 splash opencode、splash claude 等）。
• 多模态支持：原生支持视觉输入处理。

硬件要求与快速部署

运行 Splash 需要满足以下基础环境：

• 硬件：Apple M3 或更新版本的芯片。
• 系统：macOS 26.4 或更新版本。
• 内存：运行 4 位量化模型建议至少 36GB 统一内存（推荐 48GB 及以上）；24GB 内存设备可选择更小的量化变体。

通过 Homebrew 即可快速安装并启动服务：

# 安装 Splash
brew install incoai/tap/splash

# 启动服务并加载模型（首次运行会自动下载模型及匹配的草稿文件）
splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

服务启动并在终端打印 “Ready” 后，即可在浏览器中访问 http://127.0.0.1:8000 使用内置聊天界面，或通过本地 API 端点将 Splash 集成到现有的开发工作流中。对于需要更高并发或特定端口配置的场景，可通过添加 --port 参数进行自定义。