谷歌发布 EmbeddingGemma 2:Apache2.0开源轻量多模态嵌入模型,设备端统一处理图文音视频

谷歌推出 EmbeddingGemma 2,一款Apache 2.0协议开放、面向设备端的轻量多模态嵌入模型,能够把文本、代码、图像、音频、视频映射至同一个嵌入向量空间,在消费级本地硬件上完成跨模态语义检索。

  • 模型:https://huggingface.co/google/embeddinggemma-2
  • GGUF:https://huggingface.co/ggml-org/embeddinggemma-2-GGUF
  • Demo:https://huggingface.co/spaces/webml-community/embeddinggemma-2-webgpu
  • LiteRT:https://huggingface.co/litert-community

上一代EmbeddingGemma收获超2000万次下载,大量开发者用来搭建设备端搜索与隐私优先RAG。EmbeddingGemma 2基于Gemma 4架构升级,总参数7.4亿,主打边缘设备推理。单模型就可以实现:用文字检索语音备忘录、查找视频片段,跨图文音视频做统一语义搜索。

核心特性

  • 同尺寸基准领先:在MTEB Code代码嵌入、MAEB音频嵌入等评测中,在十亿参数以内的多模态嵌入模型里取得顶尖成绩,文本、图像、音频任务效果不输很多体量更大的模型。代码能力提升明显,MTEB Code得分从68.76提升至78.68,涨幅9.92分,适合本地代码库索引、代码语义检索。
  • 模块化编码器:纯文本仅270M参数;视觉编码器170M,音频编码器300M,可以按需加载,不用多模态功能就不加载对应模块,节省资源。
  • Matryoshka嵌套表示学习MRL:输出向量支持动态截断,原生768维,可降至512/256/128维,向量数据库存储最多减少6倍,降低内存开销。
  • 移动端硬件友好:量化之后,Pixel11Pro上纯文本活跃内存最低约191MB;完整多模态版本约567MB,适合手机等终端离线运行。
  • 8K上下文窗口,是初代EmbeddingGemma的4倍。一次最多处理5.5分钟音频、29张图片、58帧视频,或是多种模态交错混合输入。

设备端RAG与检索能力

EmbeddingGemma 2主打离线场景。在本地生成向量,数据不用上传云端,保护隐私,同时降低网络延迟,实现完全离线的跨模态检索、语义路由。

它可以搭配Gemma 4构建设备端RAG管线,两者共享分词器与音频编码器,一起部署时整体内存占用更低。可用来做本地多媒体知识库、语音素材检索、图片文档检索、代码库检索。

获取与部署方案

模型采用宽松Apache 2.0许可证,权重可在Hugging Face、Kaggle下载;Gemini企业平台Model Garden后续上线。

部署支持多种方案:

  1. MediaPipe快速开发跨平台应用;LiteRT做深度定制集成;
  2. 浏览器端:transformers.js + WebGPU;
  3. 主流工具栈兼容:transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio;向量库推荐Qdrant;
  4. 支持微调,可参考Unsloth提供的微调教程。
© 版权声明

相关文章