Soup

Soup 是一款将LLM后训练全流程集成于单一CLI的工具，核心目标是消除基础设施配置负担。用户仅需一个YAML配置文件和一条soup train命令即可完成微调，无需SSH、手动调参或云服务。其创新层流式传输技术可将冻结基础模型逐层从RAM/NVMe载入GPU，使Llama-3.1-8B在4GB显存笔记本上以NF4量化微调（峰值3.32GB，119.6 tok/s），且与常规运行比特级一致。

v0.72.4新增DPO/ORPO/SimPO/KTO偏好对齐的流式支持，其中DPO参考模型复用同一权重流，内存零额外开销（实测为SFT峰值的0.914倍），但时间成本增加1.52倍/步。工具内置23种训练方法、142种配方、17种量化格式，并支持MLX+Apple Silicon适配器。安装时需使用双引号包裹extra（如"soup-cli[train]"）以确保跨shell兼容。

核心技术：层流式传输与自动化配置

层流式传输机制

• 原理：冻结的基础模型不驻留显存，训练时按解码器层顺序从RAM/NVMe流式载入GPU，计算完即释放
• 内存节省：8B模型NF4量化下峰值仅3.32GB，使4GB GPU可用
• 精度保证：与全量驻留运行比特级完全一致（差异0.0），非近似压缩
• 偏好对齐扩展：v0.72.4起DPO/ORPO/SimPO/KTO均支持流式；DPO参考模型通过关闭适配器复用同一权重流，避免双倍内存
• 明确排除：GRPO/PPO因每token生成需重读全层栈，无法分摊流式开销，故不支持
• 状态：仍为BETA，生产环境需谨慎验证

全自动配置引擎
Soup 在训练前自动执行：

1. 数据预检：验证格式、长度分布、标签质量
2. 方法选择：根据数据类型推荐SFT/DPO/KTO等
3. 参数推导：批大小、学习率、轮数、量化格式由规则确定（非搜索）
4. 评估指标生成：从数据中自动提取领域相关指标
5. 保存点门控：每个checkpoint触发检查，失败则回滚
6. 奖励破解自修正：检测到RLHF奖励黑客行为时动态调整，而非简单终止

这种“规则驱动”设计避免了超参搜索的资源浪费，将专家经验编码为可复现的配置逻辑。

部署流程与跨平台注意事项

安装命令（关键：双引号）

# 轻量CLI（无PyTorch）
pip install soup-cli

# 训练栈（含torch/transformers/peft等）
pip install "soup-cli[train]"

# 全功能包
pip install "soup-cli[all]"

⚠️ Windows/cmd.exe必须用双引号：单引号会被当作字面字符传递给pip导致报错。zsh/bash/PowerShell虽兼容单引号，但统一用双引号可确保全平台安全。去掉引号在cmd可行，但zsh会将[train]解释为glob而失败。

工作流三步走

# 1. 初始化配置（交互式或模板）
soup init --template chat    # 可选：code/tool-calling/medical/reasoning/vision/kto/orpo/simpo等17种模板

# 2. 训练（自动处理LoRA/量化/批处理）
soup train --config soup.yaml

# 3. 测试与交付
soup chat --model ./output           # 本地对话验证
soup merge --adapter ./output        # 合并LoRA到基座
soup export --model ./output --format gguf --quant q4_k_m  # 导出GGUF供Ollama使用
soup push --model ./output --repo you/my-model  # 推送至HuggingFace

硬件与功能边界

适用人群

• ✅ 个人开发者/研究者：在消费级GPU上实验8B级模型
• ✅ 小团队：快速迭代领域适配，避免运维负担
• ✅ 教育场景：简化教学环境搭建，聚焦算法理解