llama.cpp

llama.cpp 是一个轻量、高效的开源 AI 项目，适合在各种硬件上运行 LLM，提供丰富的工具和后端支持，开发者可通过 CLI 和 HTTP 服务器轻松使用。它支持模型微调、量化技术，并与 Hugging Face 和 ModelScope 等平台无缝集成，是构建 AI 应用程序的理想选择。

Hugging Face 和 llama.cpp 团队推出 Llama for Windows，一款基于WinUI 3开发的轻量桌面工具，集成Hugging Face模型仓库，帮助Windows 11用户一键下载、运行本地AI大模型，项目开源免费。