Ai2 OLMoE

2个月前发布 71 00

慈善家兼微软联合创始人保罗·艾伦于2014年创立了艾伦AI研究所（Ai2），旨在通过开发人工智能（AI）寻找变革性方法，以应对全球一些最重大的挑战。

所在地：

美国

收录时间：

2025-03-01

其他站点:

App Store GitHub

打开网站手机查看

AI助手 # Ai2 # OLMo # OLMo 2 # OLMoE # Tülu 3 # 艾伦AI研究所

Ai2 OLMoE

打开网站

慈善家兼微软联合创始人保罗·艾伦（Paul Allen）于2014年创立了Allen Institute for AI（Ai2），旨在通过开发AI技术，寻找应对全球重大挑战的变革性方法。作为一家位于西雅图的非营利性AI研究机构，Ai2致力于开展基础性AI研究与创新，并通过大规模开放模型、数据、机器人技术以及环境保护等领域的工作，实现现实世界的影响力。

如今，Ai2迈出了重要的一步，推出了一个完全开放的iOS应用程序——OLMoE（Open Language Model on Edge）。这款应用不仅扩展了“完全开放”的定义，还为研究人员和开发者提供了一个实验设备端AI的平台。

OLMoE：完全开放的设备端AI工具包

OLMoE是一款完全开源的工具包，允许用户在其设备上私密且安全地测试最先进的语言模型。以下是OLMoE的主要特点和优势：

1. 完全私密与离线运行

OLMoE的一个关键优势是其完全私密性：用户的提示和响应永远不会离开设备。
由于无需互联网连接，OLMoE无论在何处都能可靠运行，非常适合隐私敏感场景或网络不可用的情况。

2. 设备端AI的实验平台

OLMoE为研究人员和开发者提供了以下功能：

体验先进任务：探索设备端模型能够完成哪些现实任务。
改进本地AI模型：研究如何优化高效的本地AI模型。
测试自定义模型：使用开源代码库在本地测试您自己的模型。
集成到其他应用：将OLMoE的功能集成到其他iOS应用程序中。

3. 硬件支持

由于硬件限制，OLMoE的第一个版本需要iPhone 15 Pro或更新设备，或任何M系列iPad。

从模型到应用程序

为了构建OLMoE应用程序，Ai2结合了最佳的完全开放解决方案，包括以下关键技术：

1. OLMoE语言模型

OLMoE基于Ai2最高效的完全开放语言模型构建。新版本allenai/OLMoE-1B-7B-0125-Instruct通过以下改进实现了性能提升：

使用OLMo 2中引入的Dolmino混合进行中期训练。
应用Tülu 3的后训练方案。
在评估套件中平均提升了35%，同时保持与原始版本相同的效率。

2. 模型量化

为了在设备上高效运行，Ai2使用Q4_K_M量化减少了OLMoE的大小，对模型性能的影响最小。量化后的GGUF格式模型可在HuggingFace上获取（基础版和指导版）。如果希望在量化之前测试该模型，可以在Ai2 Playground上进行尝试。

3. 技术栈优化

Ai2与GenUI合作，基于Llama.cpp的Swift绑定优化了技术栈，在iPhone 16 Pro上实现了平均41 tokens/s的速度。

4. 开源代码

OLMoE的应用程序代码完全开源，供AI研究人员和开发者直接使用。这为评估更高效的设备端AI模型提供了脚手架，同时也支持将模型实现集成到其他应用程序中。

为什么选择设备端AI？

随着小型模型能力的快速提升（例如，2024年底7B模型轻松超越前一年发布的最先进模型）以及移动处理单元的加速发展，设备端AI将在未来得到更广泛的应用。以下是设备端AI的主要优势：

隐私保护：数据无需上传至云端，确保用户隐私。
离线可用性：无需依赖互联网连接，适合各种环境。
低延迟：减少云端通信带来的延迟，提升用户体验。

数据统计

暂无评论

暂无评论...