AREXOpen in interactive Feed

AREX Feed Article

Google Gemma 官方视频讲解 EmbeddingGemma 2:文本、代码、图像、音频与视频如何映射进同一个嵌入空间

November 17, 2026

北京时间 11 月 18 日凌晨(UTC 时间 11 月 17 日 17:40),Google Gemma 官方账号 @googlegemma 发帖介绍 EmbeddingGemma 2,称这个模型把文本、代码、图像、音频与视频「映射进单一、统一的嵌入空间」(unified embedding space),并附上一段五分钟讲解视频,讲的是 EmbeddingGemma 2 如何用模态专用编码器(modality specific encoders)、双向 transformer(bidirectional transformer),以及构建在 Gemma 4 与 Gemini Embedding 2 之上的两阶段训练配方,在资源受限环境(resource constrained environments)中高效运行;帖文同时引导读者到技术报告查看完整架构与评测结果。

这条帖文本身没有写参数规模、基准分数,也没有谈权重以何种方式开放。它链接的技术报告已在 arXiv 公开(编号 2610.37364),写明 EmbeddingGemma 2 总参数 744M,由 271M 的双向 transformer 骨干(含 embedder,即输入嵌入模块)加上 167M 视觉编码器、305M 音频编码器构成,三块相互独立、可按需加载;模型权重则早已开源。报告中的基准成绩均出自 Google 自评口径。

这条帖文讲了什么、没讲什么

截至发稿前抓取,这条帖文获得 69 个赞、7 次转发和 3,152 次浏览。正文一共三句话:能力概括、视频导语、报告指引。

它也不是模型的首次亮相。官方博客在 10 月 6 日宣布上线 EmbeddingGemma 2,权重按 Apache 2.0 许可放在 Hugging Face 和 Kaggle;技术报告 10 月 27 日挂上 arXiv;@googlegemma 的帖子是两者之后的一次官方导览。

模态专用编码器与双向 transformer:输入如何拆成软 token

每条输入由一到多个模态片段组成,各片段先被转成「软 token」(soft token)序列,再拼接进共享骨干。技术报告(全文)写明:视觉编码器是 Gemma 4 同款的 ViT(vision transformer,视觉 transformer),patch size 为 16;音频编码器由两层下采样卷积加 12 层 conformer(卷积与自注意力混合的语音网络结构)组成,基于 Universal Speech Model(USM)架构,权重与 Gemma 4 E2B、E4B 里的音频编码器逐位相同,训练期间冻结。所有 token 进入一个 24 层、模型维度 512 的双向 transformer,注意力掩码由因果改为双向,让每个 token 看到完整上下文;经均值池化、线性投影和 ℓ2 归一化后输出 768 维嵌入向量(embedding,把内容映射成可比较的向量)。骨干沿用 Gemma 3n 引入的 per-layer embeddings(PLE),但报告省掉了 PLE 专用的查找表,消融实验显示这一简化既降成本又提质量。

单条输入最长 8,192 token:图像默认占用 280 个软 token,推理时可在 70、140、280、560、1120 五档中选择;视频按每秒 1 帧采样、每帧 140 token、最多 32 帧,画面可以与音轨按 MM:SS 时间戳交错;音频每秒 25 个 token。按模型卡的换算,8K 上下文最多容纳约 29 张图、58 帧视频或约 5.5 分钟音频。帖文把代码单独列为五种输入之一,模型卡的口径则是「文本(含代码)」。模型卡还支持在一条输入里用 <|image|>、<|video|>、<|audio|> 占位符混排,例如把商品文案、两张图和一段演示视频编码成一个向量,再与纯文本查询直接比对;文本输入可以加任务前缀(如 task: search result | query: …),官方提醒省略前缀会降低精度。

训练配方:骨干取自 Gemma 4,蒸馏自 Gemini Embedding 2

初始化阶段,骨干取自一个预训练的 Gemma 4 decoder-only 模型,改注意力掩码、加均值池化、线性投影和归一化,报告称省去了其他工作里昂贵且非必需的双向注意力适配阶段;视觉编码器用 Gemma 4 较小的视觉编码器初始化,并在多模态阶段继续训练,消融实验显示这一步对最终质量关键;音频编码器直接沿用 Gemma 4 并冻结。

训练按报告的统计分三个阶段:文本预微调约 300B token,多模态预微调约 2T token,多模态微调约 600B token,合计约 2.9T token。前两个阶段几乎完全依赖蒸馏,直接对齐 Gemini Embedding 2 的嵌入空间;由于教师模型支持低维输出,教师向量截断即可使用,蒸馏同时作用于查询、正例和难负例。最后的微调阶段完全弃用蒸馏,换成对比学习,外加把嵌入推离「窄锥」分布的 spread-out 正则和支持维度截断的 MRL 损失。报告解释,教师的嵌入空间并未针对学生模型的架构、尺寸和 MRL 子维度优化,因此微调阶段要让学生形成自己的空间。收尾还有两步:对同一训练轨迹上的一早一晚两个检查点做权重平均,再单独跑一段量化感知训练。

一个口径差异:官方帖文把这套配方概括为「两阶段训练配方」,而报告原文没有出现「两阶段」这个词,它描述的是上述三个训练阶段。两者的对应关系,帖文与报告都没有给出说明。

四层裁剪:编码器、维度、量化与精度

报告列举的省资源手段有四层。第一层是按需加载编码器:只跑文本 271M,加视觉 439M,加音频 577M。官方博客与模型卡按整数口径写作 740M(文本 270M、视觉 170M、音频 300M),报告的口径是 744M。第二层是维度截断:768 维输出经 Matryoshka Representation Learning(MRL,套娃表示学习)训练后可截到 512、256、128 维,128 维时向量存储只剩六分之一;模型卡提示 256 维以内质量接近无损,128 维会明显伤及多模态质量。第三层是量化:官方提供按块(Q4_0)与按通道(Q4_C)两种 int4 权重,视觉编码器用 8 比特权重与激活(W8A8),音频编码器按层簇混合 2、4、8 比特精度。第四层是精度约束:模型卡要求用 bfloat16 或 float32 推理,bfloat16 相对 float32 可省一半内存;用 float16 则会返回 NaN 或静默退化,失败不易察觉。

量化的收益落在真机上。在 Google Pixel 11 Pro 上,Q4_C 检查点的推理峰值内存(含运行时编译开销)为纯文本 191MB、文本加视觉 447MB、全模态 567MB;官方博客称 MRL 截断可给本地向量库带来最多 6 倍存储压缩。

官方成绩单:代码涨 9.92 分,英文一项没涨

报告的核心结论是:在覆盖所有模态的综合嵌入基准上,EmbeddingGemma 2「确立了新的帕累托前沿」(Pareto frontier,即同等参数量下质量与成本的边界),胜过专门模型和参数量 2~12 倍于己的模型。这些数字均出自 Google 自评,本次报道未能检索到独立第三方的复测。

分项看,MTEB(Code) 从上一代的 68.76 升到 78.68,涨 9.92 分,官方博客称这让本地代码库索引、语义代码检索和编码代理的检索成为适用场景;多语言文本 MTEB(Multilingual v2) 的 Mean(Task) 从 61.15 微涨到 61.36。同一张表里也有没涨的项目:MTEB(English v2) 的 Mean(Task) 从 69.67 降到 68.46,报告只宣称多语言与代码两项提升,英文一项不在其中。多模态方面,模型卡给出 MIEB(lite) Mean(TaskType) 65.67、MSEB(Retrieval) 69.54、MMEB v2 图像 57.28、视频 50.67、视觉文档 67.84、MAEB 49.87。报告称量化检查点与 bfloat16 原始权重的质量相当:Q4_C 的多语言成绩为 60.84 对 61.36,代码为 76.70 对 78.68;不过 MIEB(lite) 与 MSEB(Retrieval) 的量化降幅更大,分别为 56.71 对 60.17 和 63.92 对 69.54,表注说明量化与浮点两栏用了不同的评测装置。

开发者已在用:下载量、现成场景与一笔许可账

上一代 EmbeddingGemma 是一个 308M 的纯文本嵌入模型,论文于 2025 年 9 月发布,官方博客称其下载量已超过 2,000 万次。官方博客给新一代模型举的用法是:用一段语音备忘录找出特定视频片段,或用文本查询搜索数小时的录音。

落地数字来自 Hugging Face:模型卡显示近 30 天 308,608 次下载、3,006 个收藏(截至抓取)。工具链方面,官方博客列出 llama.cpp GGUF、Ollama、vLLM、MLX、transformers.js/WebGPU、向量库 Qdrant 和 Unsloth 微调指南;Google AI Edge Gallery 提供 Instant Media Search 与 Video Moments Finder 两个现成功能。EmbeddingGemma 2 与 Gemma 4 共享文本 tokenizer(分词器)和音频编码器,官方建议两者搭配跑设备端多模态 RAG(retrieval-augmented generation,检索增强生成),以压低合计内存。

开发者的反应在 10 月 6 日就出现在 Hacker News。用户 minimaxir 写道:「终于。270M 纯文本对老一代嵌入模型非常有吸引力,440M 的文本加视觉也算合理。」他随后贴出在 M3 Pro 笔记本上的实测:小段文本每秒 78 条嵌入、图像每秒 4 条、30 秒音频块每秒 6 条。用户 simonw 解释了许可为什么重要:嵌入向量动辄存下数百万条,专有托管模型一旦停服就要整体重算,而开放权重保证了随时可以换到自己机器或另一家供应商那里继续跑。

官方博客预告的下一个落地节点,是把模型放上 Gemini Enterprise Agent Platform Model Garden,时间只写了「即将推出」(coming soon)。

参考链接

  • @googlegemma 官方帖文(2026 年 11 月 17 日)
  • EmbeddingGemma 2 技术报告(arXiv:2610.37364)
  • EmbeddingGemma 2 技术报告全文(arXiv HTML)
  • Google 官方博客:EmbeddingGemma 2 发布公告(2026 年 10 月 6 日)
  • Hugging Face 模型卡:google/embeddinggemma-2
  • Hacker News 讨论:EmbeddingGemma 2(2026 年 10 月 6 日)
  • EmbeddingGemma 技术报告(arXiv:2509.20354,2025 年 9 月)