Google AI Edge Gallery - 最新版
Google AI Edge Gallery是一款实验性应用程序,将尖端生成式AI模型的强大功能直接带到您的手中,完全在您的Android(现已可用)和iOS(即将推出)设备上运行。深入探索创意与实用的AI用例世界,所有功能均在本地运行,模型加载后无需网络连接。尝试不同模型,聊天,基于图像提问,探索提示词,等等!
Mirai 是一套面向开发者的端侧AI套件,目标帮助开发者快速把高性能AI能力集成进自己的应用。全部推理在设备本地运行,实现低延迟、完整数据隐私,且没有推理费用。无需专业机器学习团队,也不用花费数周时间配置环境,单人开发者仅需几分钟即可完成部署。整套工具栈由三大组件构成。

| 组件 | 定位 |
|---|---|
| uzu | Rust编写的AI推理引擎,深度适配硬件特性,负责模型本地推理运行 |
| lalamo | 模型优化与转换工具集,把模型处理成适合端侧设备部署的格式 |
| cli | 命令行工具,支持本地对话,也可将模型封装成本地API对外提供服务 |
uzu、lalamo 两个核心库采用 MIT 许可证,完全开源,可免费使用。