AREX Feed Article
Google 公布 EmbeddingGemma 2 技术报告：740M 开源多模态模型、约 2.9T token 与消融结果
11 月 5 日 16:36 UTC（北京时间 11 月 6 日 0:36），Google Gemma 的官方 X 账号 称，EmbeddingGemma 2 的技术报告已经上线，并附上 arXiv 链接。帖文称，这个开源多模态嵌入模型用一套表示覆盖文本、代码、图像、音频与视频，在部分基准上超过参数量更大的专用与通用模型；端侧效率则依靠模块化编码器、Matryoshka 维度和 int4（4 位整数）量化。
报告在 arXiv 的编号是 2610.37364，标注的发布日期为 10 月 27 日，标题是《EmbeddingGemma 2: Unified and Efficient Multimodal Representations》。给出的内容比帖文列出的更多，包括模型架构、训练配方、消融，以及一组在部分项目上落后的评测结果。以下数据除特别注明外都来自这份报告与 Google 的模型卡、发布博客，是 Google 的自报口径。
一个双向主干，接上可拆的视觉与音频编码器
论文正文给出总参数 744M，分项为 271M 的主干（含嵌入表）、167M 视觉编码器和 305M 音频编码器，三项取整后相加为 743M。官方帖与博客给出 740M；的分项是 130M 主干、140M 嵌入器、170M 视觉和 300M 音频，相加为 740M。
主干沿用 Gemma 4 的架构和权重，把因果注意力换成双向注意力，共 24 层，模型维度 512；输出先做均值池化，再经线性投影变成 768 维单位向量。它保留了 Gemma 3n 的逐层嵌入（PLE），但去掉了 PLE 专用的查表，只把输入嵌入投影到每一层。
视觉编码器是 patch size 为 16 的 ViT（视觉 Transformer），输出 768 维 soft token（软 token）；音频编码器由两层下采样卷积和 12 层 conformer 组成，基于 Google 的通用语音模型（USM）架构，每秒音频产生 25 个 token，训练时保持冻结。两个编码器把各自的 soft token 插进文本 token 序列，再一起送进共享主干。论文给出的运行配置包括纯文本 271M、文本加视觉 439M、文本加音频 577M，全模态为 744M。
输入侧还有一组默认的 token 预算：图像默认占 280 个视觉 token，视频每帧默认 140 个，音频每秒 25 个，所有模态共用 8,192 token 的上下文。在单一模态、不夹文本的情况下，模型卡换算出的上限约为 29 张图片、58 帧视频或 327 秒音频。
三段课程：从文本预微调到多模态微调
训练总计约 2.9T（2.9 万亿）token。第一阶段约 300B（3,000 亿）token，数据是问答、句子相似度、代码检索和网页搜索的查询与目标配对，几乎只用从 Gemini Embedding 2 蒸馏的损失，另加一个小权重的对比损失。论文把这一段视为课程学习的一种形式，也视为双向注意力的隐式预热。
第二阶段约 2T token，混合进图像、音频、视频和文档，覆盖单模态、跨模态与混合模态任务，仍然只用蒸馏，步数是第一阶段的两倍。这一阶段的目标是让学生继承教师把多种模态映射进同一语义空间的能力。
第三阶段约 600B token，蒸馏被完全换成对比损失，再加入 spread-out 正则项和 Matryoshka 表示学习（MRL）损失；学习率和批量调小，数据换成工具检索、音频描述、视频排序、医学影像、商品图检索等更窄的任务。对比损失同时使用批内负例、难负例和同塔负例；spread-out 项惩罚随机配对余弦相似度的平方，让向量分布更接近均匀球面，论文称这有助于模型对量化更稳健，也方便向量库做近似最近邻（ANN）检索。
收尾有两步：把同一次微调轨迹上的最终 checkpoint（检查点）与较早的 checkpoint 做无权平均；再单独跑一段量化感知训练（QAT），从冻结的浮点模型蒸馏出低精度版本。
消融：去掉 PLE 查表之后
四组消融都在 MMEB-v2 上做，基线模型使用中间版配方，表内分数不代表最终模型。
第一组比较 PLE 的两种做法。保留专用查表时，MMEB-v2 总体为 55.07，图像 Hit@1 为 54.57，视频 Hit@1 为 47.13，视觉文档 NDCG@5 为 61.76；只保留投影、去掉查表后，四项分别升到 55.46、54.67、47.82 和 62.37。论文的解释是，查表对非文本模态没有直接信号，还会额外占内存。
第二组比较「继续蒸馏」和「加一个对比学习微调阶段」。从多模态预微调 checkpoint 出发，用大致相同的算力继续蒸馏，只从 52.27 挪到 52.28；换成微调阶段则升到 55.46，图像从 50.10 升到 54.67，视频从 43.26 升到 47.82。第三组单独比较视觉编码器是否训练：可训练时总体为 52.27，冻结后掉到 48.18，图像少 5.75 分，视频少 4.02 分。
第四组是视觉 token 预算。推理时把预算从 70 提到 140、280、560，总体依次为 50.07、55.37、56.15、57.02；视觉文档在 560 时达到 67.62。视频在 280 到 560 之间反而从 48.51 掉到 46.52，论文归因于序列过长稀释了注意力和均值池化后的表示。
「大 12 倍」在哪些表上成立
论文摘要的措辞是「超过专用模型和比它大 2 到 12 倍的模型」。按 740M 计算，12 倍约为 8.9B 参数。报告给出的例子分布在多模态、图像与代码表：在 MMEB-v2 上，EmbeddingGemma 2 是榜上最小的模型，总体 59.01，只有 2B（20 亿）左右的模型超过它；论文还称它胜过一些参数量超过 8B 的视觉语言专用模型。在 MIEB(lite) 上，它拿到 60.17（Mean Task）和 65.67（Mean Type），只有两个 4B 以上的模型更高。
代码是另一项强项。MTEB(Code) 得 78.68，比上一代 EmbeddingGemma 的 68.76 高 9.92 分，高于榜上所有 4B 以下模型，距 28 倍参数的第一名不到 2 分。多语言文本 61.36，略高于上一代的 61.15；英文 68.46，低于上一代的 69.67，论文自己的说法是「小幅回退」。
同一批表里也有不领先的项目。MAEB 音频基准上，EmbeddingGemma 2 的 Mean Task 为 49.87、Mean Type 为 48.65；986M（9.86 亿）的 jina-embed-v5-omni-nano 分别是 50.14 和 55.31。论文在 MAEB 一节的表述是，它的平均任务分距 10 亿参数以下（sub-1B）的最好模型约 0.2 分。
评测口径也影响读法。论文只统计每个基准实际启用的参数：代码按 271M 的纯文本配置计，视觉按 439M 计，音频按 577M 计，而不是一律按全模态总量计。基线分数大多取自公开榜单，只有 jina 的模型在 MMEB-v2 上由作者用官方实现复跑并核对过。
567MB 是 Pixel 11 Pro 上的峰值内存
官方帖写「int4 量化，低至 567MB」，报告原文更具体：使用按通道（per-channel）的 int4 量化（Q4_C）时，Google Pixel 11 Pro 上推理的峰值设备内存为纯文本 191MB、文本加视觉 447MB、全多模态 567MB，且包含运行时编译开销。
量化配置按部件区分。主干有两种 checkpoint：按块（per-block）的 Q4_0 和按通道（per-channel）的 Q4_C。视觉编码器用 8 位权重与 8 位激活（W8A8）；音频编码器用 8 位激活，权重按层组取 2、4 或 8 位。量化感知训练只覆盖主干和视觉编码器，音频编码器直接取自 Gemma 4。
精度变化可以逐项对照。多语言 MTEB 从 bfloat16（16 位浮点格式）的 61.36 降到 Q4_0 的 60.96、Q4_C 的 60.84；英文从 68.46 变为 68.48、68.49；代码从 78.68 降到 76.85、76.70；MIEB 从 60.17 降到 56.59、56.71；MSEB 检索从 69.54 降到 64.99、63.92。文本几乎不变，代码少约 2 分，视觉与音频检索的损失更明显。
权重在 10 月已开放，报告写明了使用边界
EmbeddingGemma 2 的模型权重在报告之前就已开放。已经宣布模型以 Apache 2.0 许可开放，权重放在 Hugging Face 和 Kaggle，可用 transformers、sentence-transformers、llama.cpp、Ollama 等运行；博客还提到上一代 EmbeddingGemma 的下载量超过两千万次。技术报告补上的是这些权重背后的设计、数据和实验。
压缩也有边界。768 维可以截到 512、256、128 维，存储占用最多降到原来的六分之一；模型卡的数据显示，截到 256 维时 MTEB 多语言从 61.36 降到 60.41、MMEB-v2 从 59.01 降到 56.24，质量接近无损；截到 128 维时，MMEB-v2 掉到 45.65、MAEB 掉到 47.28。模型卡因此把 128 维标注为最适合纯文本负载，并提醒多模态用户先在自己的数据上验证。
音频是另一处边界。MAEB 的 30 项任务里，EmbeddingGemma 2 的音频聚类一项只有 4.1；按性别聚类说话人（VoxPopuliGenderClustering）得 0.40，而换一项性别分类任务、改用线性探针（IEMOCAPGender）后是 66.40。论文的判断是，模型的语音表示由语义主导，性别这类人口统计属性可在需要时另做提取。音频描述也不占优：ClothoT2ARetrieval 只有 10.71，论文也指出 CLAP 类专用模型在这类任务上仍然更好。