
MemU
MemU 是一个开源的 AI 伴侣记忆框架,具有高准确性、快速检索和低成本的特点。它作为一个智能的“记忆文件夹”,能够适应不同的 AI 伴侣应用场景。通过 MemU,你可以构建真正记住你的 AI 伴侣。它们能够学习你的身份、关注点,并在每次互动中与你共同成长。
ESP32-AI 项目实现了一项令人瞩目的技术突破:在一个成本仅约 8 美元 的 ESP32-S3 微控制器上,成功运行了一个拥有 2890 万参数 的大语言模型(LLM)。该模型完全在芯片本地运行,无需连接互联网或向服务器发送任何数据,并以大约 每秒 9 个 token 的速度生成文本,直接输出到连接的小屏幕上。
ESP32-AI 项目实现了一项令人瞩目的技术突破:在一个成本仅约 8 美元 的 ESP32-S3 微控制器上,成功运行了一个拥有 2890 万参数 的大语言模型(LLM)。该模型完全在芯片本地运行,无需连接互联网或向服务器发送任何数据,并以大约 每秒 9 个 token 的速度生成文本,直接输出到连接的小屏幕上。
这一成就将此前在同类芯片上运行的模型参数量级(约 26 万)提升了近 100 倍,为边缘计算和离线 AI 应用开辟了新的可能性。
微控制器的主要瓶颈在于快速内存(SRAM)极其有限。ESP32-S3 仅有 512KB SRAM,传统方法要求整个模型驻留其中,从而限制了模型规模。ESP32-AI 通过借鉴 Google Gemma 模型中的 “逐层嵌入”(Layer-wise Embedding) 技术,巧妙解决了这一难题:
该项目深受以下技术与思想的启发:







