Unsloth AI

Unsloth 是一个专注于优化 AI 和机器学习工作负载的平台，特别擅长于让大语言模型（LLM）的训练和微调更加高效。它旨在让 AI 训练变得更容易，适合所有人使用，提供免费的开源版本，以及 Pro 和 Enterprise 的付费计划。目前，Unsloth 已被微软、英伟达、Facebook、NASA、英特尔、NSW 政府、华盛顿大学、SciPy、PyTorch、UNSW 等知名组织信任。

Unsloth 的核心目标是简化 LLM 的训练流程，包括模型加载、量化、训练、评估、运行、保存和导出，并与推理引擎如 Ollama、llama.cpp 和 vLLM 集成。它特别强调无硬件变更即可提升性能，适合初学者在 Google Colab 和 Kaggle 等平台上使用。

最新技术与更新

根据 2025 年 5 月 12 日的最新信息，Unsloth 的最新技术包括以下几个方面：

• 性能优化：
  • 比 Flash Attention 2 (FA2) 快 30 倍，内存使用减少 90%。在单 GPU 上，速度提升 10 倍；在多 GPU 系统上，可达 32 倍的速度提升。
  • 支持 NVIDIA GPU（从 Tesla T4 到 H100），并可移植到 AMD 和 Intel GPU。推理速度提升 2 倍，未来版本预计更快。
  • Pro 版提供 2.5 倍的训练速度提升，VRAM 使用减少 20%，支持多达 8 个 GPU 的增强 MultiGPU。Enterprise 版比 FA2 快 32 倍，精度提升 30%，推理速度提升 5 倍，支持多节点。
• 量化技术 - Dynamic 2.0 Quants：
  • 2025 年 4 月 24 日发布的 Unsloth Dynamic 2.0 Quants 是一种新的量化方法，显著提升了量化模型的准确性，优于现有领先的量化方法。支持 4-bit 和 16-bit LoRA，适合资源受限的硬件，保持高精度。
• 模型支持与扩展：
  • 2025 年 5 月 2 日，Unsloth 添加了对 Qwen3 模型的支持。Qwen3 在推理、指令遵循、代理能力和多语言支持方面取得了显著进展，支持 128K 上下文长度。
  • 其他支持的模型包括 Mistral、Gemma、Llama 1、2、3，以及近期新增的 Phi-4 和 Gemma 3。所有模型均支持动态 GGUF 和 Safetensor 格式。
  • 例如，Code Gemma 的训练速度提升 2.4 倍，VRAM 使用减少 68%，支持 4 倍更长的上下文窗口和更大的批量大小。
• 社区与可访问性：
  • Unsloth 强调 AI 的可访问性，提供免费开源版本，供用户在 GitHub 上获取。
  • 提供 Google Colab 和 Kaggle 笔记本，支持 Alpaca、SlimOrca 和 LAION 数据集的微调。

技术细节与硬件支持

Unsloth 的技术实现包括手动推导计算密集型数学步骤和手工编写 GPU 内核，使用 OpenAI 的 Triton 语言重写内核，并通过 xformers 和 Tri Dao 的实现支持 Flash Attention。硬件支持包括 NVIDIA GPU（从 Tesla T4 到 H100），并计划扩展到 AMD 和 Intel GPU。

• 安装要求：需要 Python 3.12、3.11 或 3.10（不支持 3.13），最新 NVIDIA 驱动、Visual Studio C++、CUDA Toolkit 和与 CUDA 驱动兼容的 PyTorch。
• 量化与微调：支持 LoRA 和 QLoRA 微调，4-bit 和 16-bit 量化，适合 16GB 显存的 GPU（如 Colab 的 Tesla T4）运行 Qwen3-14B。