你手机里的向量索引可能比运行它的 AI 模型还大
这件事讲了什么
谷歌周二发布了 EmbeddingGemma 2，一个 7.4 亿参数的开源嵌入模型，能把文字、代码、图像、视频和音频放进同一个向量空间做检索。过去要在手机上搜图片或音频，得先给图片写描述、给音频转文字，现在不需要了。它采用模块化设计，只用文字和代码时只加载 2.7 亿参数、约 191MB 内存；把索引压缩到 256 维后，一百万条向量从约 1.5GB 降到约 500MB，精度仍保留约 95%。权重以 Apache 2.0 发布，可通过 LiteRT 和 MediaPipe Tasks 部署在设备上，Android ML Kit 集成和 NPU 加速将在未来几周推出。
可以使用的工具
文中可用工具
- EmbeddingGemma 2谷歌发布的开源嵌入模型，把文字、代码、图像、视频和音频映射到同一向量空间用于本地检索
- Gemma 4EmbeddingGemma 2 所基于的模型，提供文字分词器和音频编码器架构
- LiteRT用于在设备上部署该模型的运行框架，现已可用
- MediaPipe Tasks用于在设备上部署该模型的工具，现已可用
- MediaPipe Decision通过比较嵌入与候选描述来做分类，无需生成回答
- Android ML Kit计划未来几周推出的安卓集成，支持部分设备的 NPU 加速
- Hugging Face Transformers被用作演示中嵌入检索的代码仓库
- Pi运行 Gemma 4 26B A4B 驱动智能体的工具
- SQLite在手机上存储照片和视频的嵌入向量
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。