Ai2 OLMoE

2周前发布 29 0 0

慈善家兼微软联合创始人保罗·艾伦于2014年创立了艾伦AI研究所(Ai2),旨在通过开发人工智能(AI)寻找变革性方法,以应对全球一些最重大的挑战。

所在地:
美国
收录时间:
2025-03-01
其他站点:
Ai2 OLMoEAi2 OLMoE
Ai2 OLMoE

慈善家兼微软联合创始人保罗·艾伦(Paul Allen)于2014年创立了Allen Institute for AI(Ai2),旨在通过开发AI技术,寻找应对全球重大挑战的变革性方法。作为一家位于西雅图的非营利性AI研究机构,Ai2致力于开展基础性AI研究与创新,并通过大规模开放模型、数据、机器人技术以及环境保护等领域的工作,实现现实世界的影响力。

Ai2 OLMoE

如今,Ai2迈出了重要的一步,推出了一个完全开放的iOS应用程序——OLMoE(Open Language Model on Edge)。这款应用不仅扩展了“完全开放”的定义,还为研究人员和开发者提供了一个实验设备端AI的平台。

Ai2 OLMoE

OLMoE:完全开放的设备端AI工具包

OLMoE是一款完全开源的工具包,允许用户在其设备上私密且安全地测试最先进的语言模型。以下是OLMoE的主要特点和优势:

1. 完全私密与离线运行

  • OLMoE的一个关键优势是其完全私密性:用户的提示和响应永远不会离开设备。
  • 由于无需互联网连接,OLMoE无论在何处都能可靠运行,非常适合隐私敏感场景或网络不可用的情况。

2. 设备端AI的实验平台

OLMoE为研究人员和开发者提供了以下功能:

  • 体验先进任务:探索设备端模型能够完成哪些现实任务。
  • 改进本地AI模型:研究如何优化高效的本地AI模型。
  • 测试自定义模型:使用开源代码库在本地测试您自己的模型。
  • 集成到其他应用:将OLMoE的功能集成到其他iOS应用程序中。

3. 硬件支持

由于硬件限制,OLMoE的第一个版本需要iPhone 15 Pro或更新设备,或任何M系列iPad。

Ai2 OLMoE

从模型到应用程序

为了构建OLMoE应用程序,Ai2结合了最佳的完全开放解决方案,包括以下关键技术:

1. OLMoE语言模型

OLMoE基于Ai2最高效的完全开放语言模型构建。新版本allenai/OLMoE-1B-7B-0125-Instruct通过以下改进实现了性能提升:

  • 使用OLMo 2中引入的Dolmino混合进行中期训练。
  • 应用Tülu 3的后训练方案。
  • 在评估套件中平均提升了35%,同时保持与原始版本相同的效率。

2. 模型量化

为了在设备上高效运行,Ai2使用Q4_K_M量化减少了OLMoE的大小,对模型性能的影响最小。量化后的GGUF格式模型可在HuggingFace上获取(基础版和指导版)。如果希望在量化之前测试该模型,可以在Ai2 Playground上进行尝试。

3. 技术栈优化

Ai2与GenUI合作,基于Llama.cpp的Swift绑定优化了技术栈,在iPhone 16 Pro上实现了平均41 tokens/s的速度。

4. 开源代码

OLMoE的应用程序代码完全开源,供AI研究人员和开发者直接使用。这为评估更高效的设备端AI模型提供了脚手架,同时也支持将模型实现集成到其他应用程序中。

Ai2 OLMoE

为什么选择设备端AI?

随着小型模型能力的快速提升(例如,2024年底7B模型轻松超越前一年发布的最先进模型)以及移动处理单元的加速发展,设备端AI将在未来得到更广泛的应用。以下是设备端AI的主要优势:

  • 隐私保护:数据无需上传至云端,确保用户隐私。
  • 离线可用性:无需依赖互联网连接,适合各种环境。
  • 低延迟:减少云端通信带来的延迟,提升用户体验。

相关:

新型多模态模型家族Molmo:专门设计用于理解和处理图像和文本数据

艾伦AI研究所推出Tülu 3 405B:超越 DeepSeek V3 的性能表现

艾伦AI研究所推出 olmOCR:高性能的 PDF 和文档图像文本提取工具包

数据统计

相关导航

暂无评论

none
暂无评论...