LoFT CLI

这个项目是一个轻量级、CPU 友好的工具包，可以使用 QLoRA 微调 1–3B 的 大模型。并且可以合并并导出模型为 GGUF 格式。量化支持Q4_0、Q5_1 等。

然后！所有这一切都在你本地笔记本电脑的命令行界面完成。无需 Colab。无需 GPU。无需云服务器。

开源命令行工具包，适用于低内存微调、量化和部署大型语言模型

• 定制小型语言模型（1-3B参数）使用LoRA适配器
• 💻 完全在CPU上进行训练、量化和运行 — 即使在8GB的MacBook上
• 🧱 为适配器驱动的生成式AI部署工作流奠定基础

✨ 专为构建本地生成式AI应用的开发者设计，而不仅仅是机器学习研究者。

什么是LoFT？

LoFT CLI 是一个轻量级、开源的命令行工具，支持：

• ✅ 使用LoRA微调轻量级大型语言模型（如TinyLlama）
• ✅ 将适配器合并为独立的Hugging Face模型
• ✅ 导出为GGUF格式
• ✅ 量化为Q4_0以进行CPU推理
• ✅ 使用llama.cpp在本地运行模型

所有功能均可在MacBook、CPU和低内存笔记本电脑上运行。

LoFT存在的意义

在其他人专注于云端训练巨型模型时，LoFT赋能开发者：

• 🖥️ 无需依赖GPU即可定制开源模型
• 🔌 完全离线部署大型语言模型 — 适用于注重隐私的应用
• 🧩 通过单一命令插入特定领域的LoRA适配器

即将推出：LoFT Recipes — 针对现实世界用例（如客户支持、法律问答和内容摘要）的即用适配器与微调指南。

简要工作流总结