博客进阶
谷歌把AI搜索塞进手机！不到600MB，照片、视频、录音断网照样搜
新智元报道，介绍谷歌开源的 EmbeddingGemma 2：740M 参数的原生多模态嵌入模型，可将文字、图片、视频、音频映射到同一 768 维空间，支持用一句话跨模态检索。文中给出内存占用（纯文本量化后约 191MB、完整多模态约 567MB）、8K 上下文及单次可处理约 5.5 分钟音频或 29 张图片等规格，并与 Jina v5 Omni-Nano 做了图像、视频检索对比，还提到两个基于它的应用示例。
- 分级
- 值得看
- 是否付费
- 免费全文公开可读
- 预估学习时长
- 约 5 分钟按全文字数估算
- 收录时间
- 2026-11-03
中文精读
原文约 1,863 词 · 6 节
开头：把多模态搜索引擎塞进不到 600MB 的小模型
- 10月6日谷歌开源 EmbeddingGemma 2，参数 740M，能在手机、笔记本、浏览器上离线运行，内存占用不到 600MB。
- 这是谷歌首个原生多模态开源嵌入（embedding）模型，文字、代码、图片、视频、音频可用一句话同时检索。
- 谷歌 CEO Sundar Pichai 亲自介绍该模型；演示中输入「鸟在唱歌」，鸟的照片和鸟叫录音能一起被找到。
- Hugging Face 的 Victor M 在发布一个多小时后就在浏览器里跑通，查询「birds singing」只用 22 毫秒，不经过服务器、不调 API。
- 接入后可在本地检索手机里的照片、录音和视频，无需先把文件上传到云端。
文字、图片、声音能互相搜了
- 嵌入的作用是把一段内容变成一串数字，相当于在大空间里为每段内容安排坐标，语义越接近坐标越近，搜索就找离问题最近的内容。
- 上一代 EmbeddingGemma 只处理文字，搜图片和声音往往要接其他模型或先转成文字；EmbeddingGemma 2 把各类内容放进同一个 768 维空间。
- 猫的照片、「cat」一词和猫叫声可在该空间按语义关联，因此能用一句话搜图片、视频，也能用一段语音找到视频中对应片段，还能一次搜到包含文字、图片和视频的整条信息。
- 模型卡举的例子：跑鞋商品页的文字介绍、两张细节图与湿滑岩石防滑测试视频，可被转成一个向量，匹配「适合越野跑的防水鞋」这类搜索。
- 8K 上下文窗口是上一代的 4 倍；只输入单一类型内容时最多约 5.5 分钟音频、29 张图片或 58 帧视频，支持 100 多种语言。
- 与同量级模型对比，图像检索得分为 57.3，参数量大三成的 Jina v5 Omni-Nano 为 31.6；视频检索为 50.7 对 31.2，领先近 20 分；多语言文本测试与上一代基本持平。
567MB：手机自己当搜索引擎
- 740M 参数中文本部分 270M、视觉编码器 170M、音频编码器 300M，可按需加载：只搜文字加载 270M，加搜图片共 440M。
- 在 Pixel 11 Pro 上测试，量化后纯文本模型内存占用最低约 191MB，完整多模态模型约 567MB。
- 支持给搜索索引「瘦身」：用更少的数字记录每段内容的含义，存储空间减少三分之二，多语言文本检索得分只下降不到 1 分。
- 谷歌打样的应用包括：AI Edge Gallery 里的 Instant Media Search 按意思搜相册照片、Video Moments Finder 用一句话定位视频片段、Foresight 与 Gemma 4 搭配在 Mac 上离线检索文件和会议记录。
- 部署方面，llama.cpp 已提供支持，Unsloth 放出量化版；Nativ 实测在 M5 Max 上 8-bit 量化版与原版余弦相似度达 0.9997，文本嵌入速度每秒 817 条。
- 开发者 Avenox 用 40 条英文笔记配土耳其语提问测试，正确笔记进入前 18 个候选的比例从关键词匹配的 15% 升到 97%；30 条带错别字的真实消息测试中，找到的相关笔记数量是关键词匹配的两倍，每次查询约 50 毫秒且全在本地运行。
567MB：手机自己当搜索引擎（续）
- 开发者 Nick Lo 把它装进 Nano 开发板，约 15 毫秒把一句话转成用于搜索的数字，找到图片后交给 ESP32-S3 单片机逐行绘制图像。
Coding Agent 也能在本地搜代码
- 代码检索基准 MTEB Code 上得分从上一代的 68.76 涨到 78.68，提升近 10 分，谷歌称该成绩在同尺寸模型中领先。
- Claude Code、Codex 这类工具干活前需先在整个代码库里找到相关片段；270M 纯文本版可在本地为代码库建索引，并用自然语言查找相关代码，建索引和检索都留在本地。
AI 搜索搬进了你的手机
- 今年 3 月谷歌在云端发布过多模态的 Gemini Embedding 2，通过 API 调用、按用量付费；半年多后多模态检索被带进可在手机上运行的开源小模型。
- 谷歌给出的一个用法是把它与 Gemma 4 搭配做离线、隐私优先的 RAG：一个负责找资料，一个负责根据资料回答，检索和问答都在设备上完成。
- 过去用 AI 搜索照片、视频和录音往往要把内容交给云端处理，现在这种检索能力只需几百 MB，就有机会装进每个人的口袋。