Ai2 OLMoE

慈善家兼微软联合创始人保罗·艾伦（Paul Allen）于2014年创立了Allen Institute for AI（Ai2），旨在通过开发AI技术，寻找应对全球重大挑战的变革性方法。作为一家位于西雅图的非营利性AI研究机构，Ai2致力于开展基础性AI研究与创新，并通过大规模开放模型、数据、机器人技术以及环境保护等领域的工作，实现现实世界的影响力。

如今，Ai2迈出了重要的一步，推出了一个完全开放的iOS应用程序——OLMoE（Open Language Model on Edge）。这款应用不仅扩展了“完全开放”的定义，还为研究人员和开发者提供了一个实验设备端AI的平台。

OLMoE：完全开放的设备端AI工具包

OLMoE是一款完全开源的工具包，允许用户在其设备上私密且安全地测试最先进的语言模型。以下是OLMoE的主要特点和优势：

1. 完全私密与离线运行

• OLMoE的一个关键优势是其完全私密性：用户的提示和响应永远不会离开设备。
• 由于无需互联网连接，OLMoE无论在何处都能可靠运行，非常适合隐私敏感场景或网络不可用的情况。

2. 设备端AI的实验平台

OLMoE为研究人员和开发者提供了以下功能：

• 体验先进任务：探索设备端模型能够完成哪些现实任务。
• 改进本地AI模型：研究如何优化高效的本地AI模型。
• 测试自定义模型：使用开源代码库在本地测试您自己的模型。
• 集成到其他应用：将OLMoE的功能集成到其他iOS应用程序中。

3. 硬件支持

由于硬件限制，OLMoE的第一个版本需要iPhone 15 Pro或更新设备，或任何M系列iPad。

从模型到应用程序

为了构建OLMoE应用程序，Ai2结合了最佳的完全开放解决方案，包括以下关键技术：

1. OLMoE语言模型

OLMoE基于Ai2最高效的完全开放语言模型构建。新版本allenai/OLMoE-1B-7B-0125-Instruct通过以下改进实现了性能提升：

• 使用OLMo 2中引入的Dolmino混合进行中期训练。
• 应用Tülu 3的后训练方案。
• 在评估套件中平均提升了35%，同时保持与原始版本相同的效率。

2. 模型量化

为了在设备上高效运行，Ai2使用Q4_K_M量化减少了OLMoE的大小，对模型性能的影响最小。量化后的GGUF格式模型可在HuggingFace上获取（基础版和指导版）。如果希望在量化之前测试该模型，可以在Ai2 Playground上进行尝试。

3. 技术栈优化

Ai2与GenUI合作，基于Llama.cpp的Swift绑定优化了技术栈，在iPhone 16 Pro上实现了平均41 tokens/s的速度。

4. 开源代码

OLMoE的应用程序代码完全开源，供AI研究人员和开发者直接使用。这为评估更高效的设备端AI模型提供了脚手架，同时也支持将模型实现集成到其他应用程序中。

为什么选择设备端AI？

随着小型模型能力的快速提升（例如，2024年底7B模型轻松超越前一年发布的最先进模型）以及移动处理单元的加速发展，设备端AI将在未来得到更广泛的应用。以下是设备端AI的主要优势：

• 隐私保护：数据无需上传至云端，确保用户隐私。
• 离线可用性：无需依赖互联网连接，适合各种环境。
• 低延迟：减少云端通信带来的延迟，提升用户体验。

相关：

新型多模态模型家族Molmo：专门设计用于理解和处理图像和文本数据

艾伦AI研究所推出Tülu 3 405B：超越 DeepSeek V3 的性能表现

艾伦AI研究所推出 olmOCR：高性能的 PDF 和文档图像文本提取工具包