Google Gemma 官方账号串帖盘点 EmbeddingGemma 2 社区项目：端侧实验称 13 秒转写一小时音频

北京时间 10 月 28 日凌晨，Google Gemma 官方 X 账号 @googlegemma（简介自述为 Google DeepMind 开源模型 Gemma 的官方主页）发出一条六帖串帖，把五个基于 EmbeddingGemma 2 的社区项目集中盘点了一遍。开头写道，社区拿这个模型的多模态能力做东西，「多到跟不上了」，从浏览器内的 WebGPU 图片搜索到 Apple Silicon 原生加速都有（串帖主帖）。

清单第一项是一个端侧语音转文字（STT）实验：不搭转写管线，直接用模型 768 维的音频-文本共享向量空间做相似度匹配，串帖称在基础款 M3 MacBook Air 上转写一小时音频约需 13 秒（串帖 STT 帖）。其余四项分别是浏览器 WebGPU 图片搜索、类型化决策引擎微调、Core ML 与 Apple Neural Engine 加速转换，以及开源本地多模态文件搜索 DigUp。

打头的实验：把转写换成向量匹配

EmbeddingGemma 2 是这条官方账号 10 月 6 日宣布的轻量多模态嵌入（embedding）模型：把文本、代码、图像、视频和音频映射进同一个嵌入空间，740M 参数、模块化编码器，经 Matryoshka Representation Learning（MRL，套娃表示学习）支持 768～128 维的灵活截断，8K 上下文窗口，Apache 2.0 许可（发布帖）。STT 实验用的正是那个共享空间。

开发者 Shahir（@TslShahir）10 月 12 日发帖解释了做法：不是「重型转写管线」，而是靠向量相似度在设备上把语音和文本表征直接配对。他说这个点子来自今年 3 月看到 Gemini Embedding 2 时的直觉——「说出的词会正好落在书写的词旁边」——当时没条件验证；帖子里说 EmbeddingGemma 2 上周作为开源模型发布后，他把想法落了地。按他的口径，基础款 M3 MacBook Air 转写一小时音频约 13 秒，相当于 288 倍实时（原始帖子）。

这不是官方账号第一次推这个实验：10 月 22 日的单推现显示 158 次转发、1,885 个赞、84,326 次浏览（单推）。10 月 23 日它又介绍了音频方向的另一例——官方称，社区只用 3 小时训练 3,000 小时越南语音频，就在 8 个越南语 ASR 基准上登顶，而且不需要笨重的自回归解码器（越南语 ASR 帖）。嵌入模型能不能直接「读」出语音，是这个社区近期反复验证的问题。

浏览器里的搜图：文本塔与视觉塔搬上 WebGPU

串帖第二项来自 Jakub Chmura（@_jakubchmura，X 资料显示他是 Software Mansion 的开发者关系（devrel）与 ML 工程师）。串帖称，他把 EmbeddingGemma 2 的文本塔与视觉塔移植到了 ruNNtime——一个基于 TypeGPU 的 TypeScript WebGPU 推理引擎——做出的本地相册可以用自然语言描述来搜图，而且「100% 跑在你浏览器的 GPU 上，无需 WASM 二进制或服务器」（串帖 WebGPU 帖）。

他在 10 月 7 日、也就是模型发布次日就发帖称已经让模型在 WebGPU 上跑起来，并预告会进入 runntime 的模型库（zoo）包（他的帖子）。runntime 仓库（MIT 许可，现 99 颗星）解释了「无 WASM」从哪来：算子是 TypeGPU 代码，在运行时编译成 WGSL 着色器，同一份代码可跑在浏览器、React Native 和 Electron 上；模型权重从 Hugging Face Hub 拉取（仓库）。

决策引擎：串帖称单次前向传播给出 choice、score、bool

第三项把嵌入模型用在了另一种负载上。串帖的措辞是「忘掉慢速自回归生成和脆弱的 JSON 解析」：一个微调版本把 EmbeddingGemma 2 变成决策引擎，在单次前向传播里对照动态 schema（问题清单）评估工作流状态（比如 agent 轨迹或支持工单），返回带校准的 choice、score、bool 输出，且无需再训练（串帖决策引擎帖）。

模型作者 Manu Romero（@mrm8488）10 月 11 日的表述更具体：给它一个状态加任意问题的 schema，就得到类型化、校准的答案，「不做文本生成，不做输出解析」；他称模型在 typed-decisions 上拿到 76.4%，比一个 27B LLM 低约 6 个百分点，而参数量少约 100 倍（作者帖）。

Hugging Face 模型卡（标注 272M 参数，10 月 11 日上架，现显示 1,464 次下载）交代了机制：打分头把每个选项的文本与状态、问题放在一起比对，所以 schema 就是普通数据——改选项名、改描述、加新问题都不必重训。问题分三类：choice（如 continue/observe/human_review/stop）、score（0～3 级）和布尔型——模型卡把布尔型记作 noul，返回 True/False 加概率。卡片同时写明两条限制：打分头只用英文 schema 训练过，其他语言的概率会更「软」，而离训练数据远的问题答案可靠性会下降；另外警告不要用 float16——EmbeddingGemma 2 会溢出并静默返回 NaN（模型卡）。

Core ML 转换：文本编码器全程留在 ANE，音频与视觉走 GPU

第四项面向 Apple 平台。串帖称，这版 Core ML 转换用固定 shape 的函数让文本编码器 100% 跑在 Apple Neural Engine（ANE）上、无 CPU 回退，音频与视觉编码器则走 GPU 硬件加速，并支持 Matryoshka 维度截断（768 降到 128）（串帖 Core ML 帖）。

作者 Alex（@Alex_tra_memory，X 资料显示任职于 Fluid Inference）10 月 9 日的演示是：M5 Pro 上把 10,080 条帖子实时归入主题，约每秒 620 条，任一主题一秒内拆出子主题，全程本地（作者帖）。

配套的 Hugging Face 模型卡（10 月 9 日上架，现显示 1,702 次下载）给出的细节更多：文本、音频、视觉三个编码器都转成了 Core ML，输出与 sentence-transformers 相同的 768 维 L2 归一化向量；坚持固定 shape 的原因是变长 shape 会让整个计算图落到 CPU 上。音频编码器（卡片标注为 12 层 Gemma 4 USM conformer）反而要跑 GPU：分块局部注意力的 5 维分块在 ANE 上会回退 CPU，单窗口要 46 毫秒，GPU 上是 13.6 毫秒。在 M5 Pro 上索引一小时音频：GPU fp16（半精度）音频模型 5.8 秒（617 倍实时），音频加文本模型 10.2 秒（353 倍），与 PyTorch 完全一致（token 余弦 1.0000）的 fp32（单精度）版本 13.2 秒（272 倍）。视觉端在 Oxford Pets 数据集 370 张照片上的零样本（zero-shot）准确率为 87.0%～89.5%，对应 70/140/280 三档词元（token）预算，且每个预算下 GPU 都快于 ANE。卡片也如实列出 fp16 的代价：少数静音 token 与 fp32 的余弦相似度最低到 0.977；不过在 1 小时财报电话会议索引测试中，15 条文本查询的头名命中与 fp32 全部一致，top-5 重合 95%（模型卡）。

DigUp：5,922 颗星的本地语义文件搜索

串帖收尾的项目是 DigUp，比喻是「想想 Spotlight，但它理解你文件内容的意思」：Swift 原生编写，配合 llama.cpp 与 Metal，在本地跨照片、PDF、代码与音视频做语义搜索，并能直接跳到视频时间戳、PDF 页码或代码行（串帖 DigUp 帖）。

作者 Abdur Rahim（@ARahim）10 月 9 日的介绍更直白：按文件里有什么、而不是文件叫什么来搜你的 Mac——用任意语言描述一个视频瞬间、播客的一分钟、PDF 的一页、一张照片或一段代码，「把它挖出来」（作者帖）。

GitHub 仓库显示 DigUp 采用 MIT 许可，现 5,922 颗星、460 次 fork。README 的示例与串帖一致：找斑马出场的视频片段、聊睡眠的那分钟播客、租约里宠物条款的那页 PDF、海滩上的狗、报错截图；英文查询能命中孟加拉语或阿拉伯语的笔记，模型支持 100 多种语言。隐私一节写明：索引内容不出本机，联网仅限一次性下载 865 MB 模型和每天一次的更新检查；Mac 版需要 Apple Silicon 与 macOS 14 或更高（仓库）。仓库现在已经提供 Windows 与 Linux 的 beta 安装包，而串帖文案仍写着 macOS。

官方账号 10 月 13 日曾单独推过 DigUp，那条帖子现显示 9,787 个赞、853,917 次浏览、11,197 次收藏，是五个项目此前的单推里数据最好的一条（单推）。

数字口径与一个没人接的追问

回到串帖本身：主帖现显示 37 次转发、487 个赞、23,193 次浏览、351 次收藏。评论区不缺好评——Ivan Fioravanti 写道「这模型真了不起，我爱它！」（回帖），用户 aapakari 说「描述你想要什么，胜过文件夹层级」（回帖）；Shahir 也在评论区补了一条新动态：他又发了一个用 EmbeddingGemma 2 做图像生成的早期版本（回帖）。

串帖能证明的，是这些项目存在、并且被官方看见；至于数字，六个帖子里没有附任何测试细节，13 秒、288 倍实时、100% GPU、100% ANE、76.4% 全部以断言形式出现，可见的出处只有项目作者的帖子、两个 Hugging Face 模型卡和官方账号的串帖表述。在本篇检索范围内，这些数字还没有一个得到第三方复测。

一个技术问题还没有答案。用户 AIQuanting 追问：把多种模态塞进同一个 768 维固定宽度，「通常总有什么要妥协」——图像是否也和音频、文本同处一个空间？混在一起后检索质量守得住吗？截至发稿，这条提问显示 0 条回复（提问）。

参考链接

• Google Gemma 官方账号串帖主帖
• 串帖 STT 帖
• EmbeddingGemma 2 发布帖
• Shahir 的 STT 实验原始帖子
• 官方 10 月 22 日 STT 单推
• 官方 10 月 23 日越南语 ASR 帖
• 串帖 WebGPU 帖
• Jakub Chmura 的 ruNNtime 演示帖
• software-mansion/runntime 仓库
• 串帖决策引擎帖
• Manu Romero 的 Typed Decision 帖
• mrm8488/embeddinggemma-2-ft-typed-decision 模型卡
• 串帖 Core ML 帖
• Alex 的 ANE 演示帖
• FluidInference/embeddinggemma-2-coreml 模型卡
• 串帖 DigUp 帖
• Abdur Rahim 的 DigUp 帖
• ARahim3/DigUp 仓库
• 官方 10 月 13 日 DigUp 单推
• Ivan Fioravanti 的回帖
• aapakari 的回帖
• Shahir 关于图像生成的回帖
• AIQuanting 的技术追问_