llama.cpp

llama.cpp 是知名开源本地大模型推理项目，底层基于 ggml 库，目标是用最简配置，在PC、边缘设备上高效跑LLM与VLM多模态模型，同时也支持云端部署。项目采用纯C/C++编写，无外部依赖，对全平台硬件做深度适配。

底层框架核心能力

硬件后端支持

• Apple Silicon：一级优先支持，依靠 NEON、Accelerate、Metal 深度优化
• x86：AVX / AVX2 / AVX512 / AMX
• RISC-V：RVV、ZVFH等向量扩展指令
• GPU加速：NVIDIA CUDA、AMD HIP、摩尔线程MUSA，同时支持Vulkan、SYCL、OpenCL、WebGPU等通用后端；还支持昇腾NPU、骁龙、Intel NPU等更多硬件
• 混合推理：CPU+GPU分片加载，能运行显存放不下的大模型

量化能力

支持1.5bit、2bit、3bit、4bit、5bit、6bit、8bit多种整型量化，大幅降低显存占用，提升推理速度，GGUF格式现已成为本地模型主流格式。

快速上手方式

提供多种部署途径：一键脚本安装、Docker容器、直接下载预编译二进制包、源码编译。
安装完成后，两条核心命令：

# 从Hugging Face直接拉取并运行GGUF模型
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# 启动OpenAI兼容API服务，可供其他应用接入
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Llama 配套托盘GUI（Windows / macOS）

ggml-org同步推出桌面端托盘应用 Llama，分为 Windows 版与 macOS 版，封装 llama.cpp，降低普通用户上手门槛。

Windows 版（WinUI3）

• 常驻系统托盘，Mica风格悬浮弹窗；Alt+Space全局唤起对话浮窗，无需切换窗口
• 自动检测本地llama.exe，没有则自动下载；一键浏览、下载Hugging Face上GGUF模型
• 模型详情页自动估算内存占用，可设置上下文长度；模型文件存放在标准HF缓存目录，和其他工具共用
• 无遥测、无统计，提示词和推理全部本地执行，仅在下载模型、检查更新时产生网络请求

macOS 版（菜单栏App）

• 4MB轻量原生程序，brew install --cask llama-app 或手动安装包部署
• 本地服务默认端口 [http://localhost:9931/v1](http://localhost:9931/v1)，兼容OpenAI接口，可供编辑器、Agent调用
• 按需加载模型，闲置自动卸载释放内存；自动识别机器硬件，推荐适配模型

要点小结

1. llama.cpp 是本地GGUF模型的底层推理引擎，跨CPU/GPU/NPU全硬件，量化方案齐全，可快速启动API服务。
2. Llama托盘App是配套图形界面，Windows全局Alt+Space唤起，macOS菜单栏常驻，开箱即用，复用HF模型缓存。
3. 隐私特性：推理完全本地，无用户数据上传，不含遥测数据采集。
4. 生态统一：模型格式GGUF，cli/serve/GUI共用同一套模型缓存，工具之间互通。