MergeKit

mergekit 是一个开源工具包，专为合并预训练语言模型而设计。它采用外核（out-of-core）计算方法，即使在硬件资源有限的情况下，也能高效完成复杂的模型合并任务。无论是完全依赖 CPU 还是借助 GPU 加速（仅需 8GB 显存），mergekit 都能胜任。此外，它支持多种合并算法，并计划根据用户需求不断扩展功能。

简单来说，mergekit 可以将多个大模型的优势整合到一个模型中。例如，如果你有一个擅长写作的模型 A 和一个擅长写代码的模型 B，mergekit 能将它们合二为一，生成一个既能写作又能编程的多功能模型。同时，它还支持在不同模型之间迁移特定能力。

为什么需要合并模型？

模型合并是一种创新的技术，通过直接操作模型权重空间，结合不同模型的优点，而无需额外的训练或集成计算开销。相比传统方法（如集成学习），模型合并具有以下优势：

• 组合多领域能力：将多个专业模型的能力融合成一个多功能模型。
• 无需训练数据：在不使用训练数据的情况下，实现能力转移。
• 优化平衡：找到不同模型行为之间的最佳折中点。
• 提升性能：在保持推理成本不变的情况下，显著提升模型表现。
• 创造新能力：通过模型组合，探索全新的应用场景。

与运行多个模型的传统方法相比，合并后的模型不仅推理成本更低，还能达到甚至超越集成方法的性能。

mergekit 的核心功能

mergekit 提供了丰富的功能，满足不同场景下的模型合并需求：

1. 广泛兼容性：支持 Llama、Mistral、GPT-NeoX、StableLM 等主流模型架构。
2. 灵活的合并方式：提供多种合并算法，包括层级拼接（“Frankenmerging”）、专家混合（Mixture of Experts）、LORA 提取等。
3. 硬件友好：支持 CPU 和 GPU 执行，延迟加载张量以降低内存占用。
4. 高精度处理：建议使用高精度模型进行合并，完成后可进行量化和校准以优化性能。
5. 复杂工作流支持：支持多阶段合并流程，适合需要精细控制的高级用户。
6. PyTorch 模型支持：除了专用模型格式，mergekit 还支持原始 PyTorch 模型的合并。

新增 GUI 界面：更易用的操作体验

为了让更多用户轻松上手，mergekit 推出了基于 GPU 加速的图形用户界面（GUI）。这一界面由 Arcee 提供支持，大幅简化了合并流程，即使是初学者也能快速掌握。

使用建议

• 选择高精度模型：在合并过程中尽量使用高精度模型，合并完成后可根据需求进行量化和校准。
• 明确目标：在合并前明确你希望获得的能力组合，例如写作+编程、对话+推理等。
• 尝试多种算法：不同的合并算法可能带来不同的效果，建议多做实验以找到最佳方案。