llama.cpp

llama.cpp 是一个轻量、高效的开源 AI 项目，适合在各种硬件上运行 LLM，提供丰富的工具和后端支持，开发者可通过 CLI 和 HTTP 服务器轻松使用。它支持模型微调、量化技术，并与 Hugging Face 和 ModelScope 等平台无缝集成，是构建 AI 应用程序的理想选择。