AREXOpen in interactive Feed

AREX Feed Article

3 小时训练登顶 8 项越南语 ASR 基准,Google Gemma 官方推介社区微调的 EmbeddingGemma 2

October 23, 2026

北京时间 10 月 23 日 23 时 13 分,Google Gemma 官方 X 账号 @googlegemma 称,社区已经在微调 EmbeddingGemma 2 并拿到出色结果:只用在 3,000 小时越南语音频上训练 3 小时,模型就登顶了 8 项越南语自动语音识别(ASR,Automatic Speech Recognition)基准,而且“完全不需要笨重的自回归解码器(autoregressive decoder)”。帖文同时指向社区成员 @stablequan 发布的技术解析。

被点名的成果是一个名为 QUAN-Transcribe-1.0 的模型,10 月 14 日就已发布在 ,作者是 X 用户 @stablequan——其账号资料显示他叫 Quan Nguyen,现居瑞典。模型卡中的基准表显示,这个总参数量 356M 的模型在 8 个越南语测试集上拿到 6.87% 的平均词错率(WER,Word Error Rate),低于包括 Gemini-Flash-3.8(6.92%)在内的全部 16 个对比模型,在单张 H100 上的速度达到实时(real-time)的 3,713 倍。这些数字出自作者自建的评测、经官方账号转述,本文未独立复核其训练与评测过程。

九天前的实验帖,被官方账号翻了出来

10 月 14 日,@stablequan :“各位,我拿了 @googlegemma 的 Embedding 2 模型,在 3,000 小时越南语音频上训练。它达到 SOTA 了。只花了 8×H100 上 2 个小时。”同日,QUAN-Transcribe-1.0 上架 Hugging Face,附基准表与推理代码。

九天后,@googlegemma 用自己的措辞转述了同一成果——训练时长写为 3 小时——并在中给出解析链接。截至本稿核实时,原帖拿到 1,295 个赞、71,239 次浏览,官方帖文获 384 个赞。

几处口径有细微出入:训练时长在官方帖文与模型卡中均为(约)3 小时,作者原帖写 2 小时,回答成本提问时又给出 2.5 小时;音频规模官方与作者均写 3,000 小时,模型卡列出的训练数据合计约 2,800 小时。

底座与骨架:300M 音频编码器,顶上 6 层 CTC 读取头

先看底座。EmbeddingGemma 2 是 Google DeepMind 于 10 月 6 日的开源多模态嵌入模型:总参数 740M,由 270M 文本模型加 170M 视觉编码器、300M 音频编码器组成,基于 Gemma 4 架构,官方博客称以“商业上宽松的 Apache 2.0”许可发布;它把文本(含代码)、图像、视频和音频映射进同一个 768 维向量空间,支持 100 多种语言,8K(8,192 token)上下文窗口可容纳约 5.5 分钟音频。第一代 EmbeddingGemma 的下载量已超过 2,000 万次。

QUAN-Transcribe-1.0 用到的正是那个 300M 音频编码器。据模型卡,作者只微调了这个 USM(Universal Speech Model)风格的 conformer 编码器 12 层中的顶部 2 层,把各层输出做可学习混合后,接上一个 6 层 transformer 读取头(模型维度 768),以 CTC(Connectionist Temporal Classification,一种无需预先对齐标注的训练目标)训练;输出单元是 14,917 个 Gemma 分词器 token,大致一个 token 对应一个越南语音节。

没有自回归解码器,意味着每条语音只需一次前向传播——Unique Adhikari 在官方帖文下的指出的正是这一点:解码阶段通常是 ASR 推理变慢的原因。读取头用动态 chunk(分块)训练,同一份权重既能整段解码,也能流式解码(0.48 秒一个 chunk);还提供麦克风实时转写,长音频按静音点切成不超过 30 秒的片段分批解码。输出是小写越南语、无标点、数字写作单词。

同一批语句、同一套打分:这张对照表怎么读

帖文所附的基准图列了 17 个模型,榜首以 “EmbeddingGemma2-ASR-vi” 之名出现,参数量与各测试集数字和模型卡里的 QUAN-Transcribe-1.0 完全一致。按模型卡说明,评测协议是:同一批语句、同一套文本归一化与打分、贪心解码、每个模型单独用一张 H100(bf16/fp16),速度按音频时长除以墙钟时间计算。

8 个测试集是 bud500、cv17、fleurs、gigaspeech2、lsvsc、phoaudiobook、vimd 和 VIVOS。QUAN-Transcribe-1.0 以 6.87% 的均值排第一,其中 bud500(1.62%)、lsvsc(5.48%)、vimd(9.05%)三项单榜最佳;fleurs 和 gigaspeech2 的最佳成绩属于 Qwen3-ASR-1.7B(4.88%、8.47%),cv17、phoaudiobook、VIVOS 三项的最佳属于 PhoWhisper-large(9.12%、0.87%、4.52%)。官方帖文说的 “登顶 8 项越南语 ASR 基准”(tops 8 Vietnamese ASR benchmarks),严格说是 8 项均值第一,而非 8 项全部第一。

排在它后面的不只是开源同行:Gemini-Flash-3.8(6.92%)、MAI-Transcribe-2.0(6.96%)、Cohere Transcribe 03-2026(7.01%,2,066M 参数)、Qwen3-ASR-1.7B(7.01%,2,038M)、ElevenLabs Scribe v2(7.08%)和 PhoWhisper-large(7.21%,1,543M),Whisper large-v3 的均值则是 18.04%。速度差距更大:表中次快的 PhoWhisper-base 为 539 倍实时,QUAN-Transcribe-1.0 是 3,713 倍,接近其 7 倍。

训练数据约 2,800 小时,模型卡列出的来源全部是 Hugging Face 上的公开数据集:Bud500、viVoice、VLSP2020、FPT FOSD、InfoRe 1/2、LSVSC、ViMD、Common Voice 17、FLEURS 和 PhoAudiobook。许可一栏写明:QUAN-Transcribe-1.0 是 EmbeddingGemma 2 的衍生模型,使用须遵循 Gemma Terms of Use;底座 本身需要先在模型页接受条款、以 HF(Hugging Face)令牌登录才能下载。

78 美元的账单、一句 “LGTM” 和让 Claude Code 搭起来的评测

在他的帖文评论区,成本是被反复追问的数字。作者在回复中给出:RunPod 上 8×H100 跑了 2.5 小时,;这种配置时价约 。他让模型在自己的单张 A6000 48GB 上跑一个星期,直到用 Opus 5.5 xhigh 把其他开源模型看了一遍、得到“有很大概率做到 SOTA”的判断,于是“回了一句 LGTM,给 RunPod 充了值”。

评测框架也是临时搭的。他说越南语没有现成的基准套件,自己 QwenTTS 的评测方式,让 Claude Code 从零重建了一整套;训练数据 Hugging Face 公开数据集。

结果公布后质疑随之而来。Furkan Gözükara :“你确定没有在测试数据集上训练吗?要超过 Gemini-Flash-3.8 可不容易。”作者的是“非常确定”,并解释 Gemini 主要败在方言上——尤其越南中部说话者的口音,“连母语者也未必能 100% 听懂”。至于训练代码,他在 10 月 15 日会开源、内容“就是基础的 torch 和 DDP(分布式数据并行)设置”;本篇能核实的公开仓库只有那份推理代码。

点名之后:印地语、乌尔都语的复刻已经出现

官方帖文下的第一波反应出现在评论区。Daniel Priscu :“没有自回归解码器还能排在第一,这对低资源语言是件大事。”Aleksandar Janca 对比对象:“是和同样用这 3,000 小时微调过的 Whisper 比,还是和原版 Whisper 比?”Unique Adhikari 则追问模型在长音频和嘈杂电话音质下的表现,并提醒“基准集往往比真实流量干净”。

复制工作来得更快。Shyam Sunder Kumar 在评论区他为印地语微调的版本,称完全在端侧运行(CPU 也可以)、已开源上架 Hugging Face;Mahwiz Khalil 他正在 EmbeddingGemma-2 音频特征上训练一个 0.6M 参数的乌尔都语 CTC 头,自建开发集上已超过 Whisper medium,FLEURS 评测还没做完。

这些追问暂时没有带数字的答案:截至本稿核实,Adhikari 的提问下还没有任何回复,模型卡也没有列出方言表现的分项数据,来支撑作者对 Furkan 的那句“非常确定”。

参考链接