TinyAI 是一款专为 Android 设备设计的本地 AI 聊天应用,旨在实现真正的隐私保护与离线智能。它摒弃了传统的云端 API 调用模式,允许用户直接在手机上下载并运行大语言模型(LLM)。一旦模型加载完成,所有的推理过程均在设备的 CPU 或 GPU 上执行,数据无需离开手机,且无任何按条计费的订阅成本。
- GitHub:https://github.com/YashBhadange2006/TinyAI
- Google Play:https://play.google.com/store/apps/details?id=com.yashbhadange.tinyai

核心特性
- 🔒 完全离线与隐私优先:
- 无需 API 密钥,无需联网即可进行对话(飞行模式下可用)。
- 所有聊天记录、图像及模型数据均存储在本地 Room 数据库中,彻底杜绝数据泄露风险。
- 🚀 双引擎自动切换:
- 内置 Google MediaPipe GenAI (
.task) 和 LiteRT-LM (.litertlm) 两种高性能本地推理引擎。 - 应用会根据加载的模型格式自动选择最佳运行时,用户也可手动在 CPU 与 GPU 后端之间切换以平衡速度与功耗。
- 🌐 Hugging Face 模型集成:
- 不局限于预置模型,用户可直接在应用内浏览并下载 Hugging Face 上的兼容模型。
- 支持视觉模型(VLM),当加载具备视觉能力的模型时,附件按钮会自动启用,支持图片输入。
- 💡 推理过程可视化:
- 专门支持 DeepSeek-R1、Qwen3 等具备“思考”能力的推理模型。
- 能够解析并分离
<think> 块,在流式传输过程中清晰展示模型的思维链与最终答案。
- 📝 丰富的交互体验:
- 支持流式响应生成,并可随时中途停止。
- 内置 Markdown 和 LaTeX 渲染引擎(基于 Markwon),完美呈现代码块、表格及数学公式。
- 提供专用媒体图库,方便管理聊天中发送或接收的图像,支持捏合缩放预览。
- 支持为每个模型设置独立的系统提示词(System Prompt),并随会话保存。
技术规格与支持情况
| 项目 | 详情 |
|---|
| 开发语言 | Kotlin |
| UI 框架 | Jetpack Compose, Navigation 3 |
| 推理后端 | MediaPipe GenAI, LiteRT-LM |
| 持久化存储 | Room Database |
| 富文本渲染 | Markwon (支持 Markdown, LaTeX, Tables) |
| 支持的模型格式 | .task (MediaPipe), .litertlm (LiteRT) |
| 不支持的格式 | GGUF (目前仅支持 Google 生态优化格式) |
| 系统要求 | Android 7.0 (API 24) 及以上 |
使用指南
- 获取模型:进入设置页面,通过内置浏览器搜索 Hugging Face 或从精选列表中选择模型进行下载(通常大小为 600MB – 2.6GB)。
- 加载模型:下载完成后,点击“Load”将模型载入内存。
- 配置人设:可选地设置系统提示词,定义模型的角色或行为准则。
- 开始聊天:若模型支持视觉,可直接上传图片进行多模态交互。所有会话自动保存,可通过侧边栏随时回溯。