AREX Feed Article
Mistral AI 宣布 Voxtral Mini Transcribe 3 位列 Voice Arena Diarization + ASR 榜第 2 位
北京时间 10 月 28 日 17 时 50 分,发帖宣布:Voxtral Mini Transcribe 3 在 Voice Arena 的 Diarization + ASR(说话人分离 + 语音识别)排行榜上排名第 2。整条帖文只有这一句话,没有附榜单截图,也没有给出 DER(说话人分离错误率)数字或榜单链接。截至本文检索时,帖子获得约 130 个赞、29 条回复、约 8,900 次浏览。
Mistral 只给出了名次,没有给出数据。把帖子下方多位用户引用的榜单细分数字,与另一家语音模型厂商 Smallest AI 三周前的官方帖文对照,可以看出这个「第 2」的结构:榜首 Smallest AI 的 Pulse 明显领先,Voxtral Mini 身后则是差距很小的一串名次。Voice Arena 的榜单页依赖动态脚本加载,本文发稿时无法直接读取当前排名,下文涉及的榜单数字均逐一注明出处。
这条官宣帖能证明什么
按机构公告的证据边界,目前能确认的是:Mistral 公开作出了「第 2」的名次宣称,榜单当前是否如此显示,需以 Voice Arena 页面为准,本文未能直接核对。
Voxtral Mini Transcribe 3 并非新面孔。它是 Mistral 10 月 20 日发布的 中的高效转写型号:4B 参数,官方定价每分钟 0.0035 美元。家族里还有更大的 Voxtral Small Transcribe 3(每分钟 0.0040 美元)、面向实时场景的 Voxtral Mini Transcribe Realtime 3(每分钟 0.008 美元,官方称延迟低于 500 毫秒),以及语音合成型号 Voxtral Speech 3(每百万字符 13 美元)。发布当天,独立评测机构 评测了全部三个转写模型;8 天后,Mistral 专门为一个第三方榜单名次单独发帖。
这个第 2 名的榜单按 DER 排序,榜首是 Pulse
是一个给语音模型排名的站点,首页自述为对 TTS 与 STT 模型的「人工评分排名」,覆盖英语、印地语、孟加拉语、阿拉伯语等多种语言。这次的 Diarization + ASR 赛道不靠人投票:其 页面介绍称,评测对象是 15 个开源与商用的说话人分离系统,语料为 139 段远场英文会话,排名依据是 DER。页面上的方法说明把 DER 拆成三项:漏检(missed speech)、虚警(false alarm)和说话人混淆(speaker confusion),在 0 ms 的 collar(边界容忍窗)下计分、按计分分钟池化,数值越低越好。Mistral 帖文里的「Diarization + ASR 榜」,指的就是这条以 DER 排名的赛道。
榜首不是 Voxtral,而是 Smallest AI 的 Pulse。Smallest AI 10 月 7 日宣布,其 Pulse 模型以 24.4% 的 DER(严格 0 ms collar 口径)位居 Voice Arena Diarization Bench v1 第一,并称这一成绩超过榜上所有语音转文本 API:ElevenLabs Scribe v2 为 40.71%,AssemblyAI Universal-3.5 Pro 为 44.64%,Deepgram Nova-3 为 67.13%。需要说明,这是 Smallest AI 对自家模型排名的宣称;它与本文发稿时评论区引用的数字(见下节)相互吻合。
4B 的 Mini 排到了自家 Small 前面
评论区贴出的细分数字显示,这次上榜的 Mini 型号排到了自家更大的 Small 型号前面。用户 leehoo 引用榜单页称,该赛道共有 9 个模型,;。两个数字之间还夹着 Smallest AI 帖文里 Scribe v2 的 40.71%——第 2 到第 4 名全部落在 0.7 个百分点之内,:「第 1 名不在同一个量级。」
名次与 Mistral 自己的口径之间存在张力:10 月 20 日的博客称,Small 版本「在 diarization 和多语言转写上达到 SOTA」,优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;而按评论者引用的榜单,在说话人分离这一项上,4B 的 Mini 反而排在更大的 Small 前面。两种口径并不矛盾——博客说的是 Mistral 自家评测与转写基准的结论,榜单衡量的是另一个指标 DER。
从产品参数看,Mini Transcribe 3 支持 50 多种语言(含 24 种欧盟官方语言),提供说话人分离和 context biasing(用关键词与自由文本偏置转写,提升专业术语的召回率)。与官方定价一致:Voxtral Mini Transcribe 3 于 10 月 20 日上线,价格为每秒 0.000058 美元,约合每分钟 0.0035 美元,上下文窗口 66K。整个家族通过 Mistral 位于欧洲的 API 或用户自建基础设施提供,官方以此强调音频数据的处理位置可控。
换到字准口径,名次反过来
字准上,Artificial Analysis 给出的第三方结果与 DER 榜正好相反:,领先 ElevenLabs Scribe v2(2.2%)和 Grok Voice Transcribe 2.0(2.3%);Voxtral Mini Transcribe 3 以 2.2% 排第 5。AA-WER 是 Artificial Analysis 采用的词错率指数,数值越低越好。字准上 Small 略好,说话人分离上(按评论者引用的榜单)Mini 略好。
Realtime 型号另有单独数据:Voxtral Mini Transcribe Realtime 3 在 960 ms 设置下的最终转写 AA-WER 为 3.3%(46 个模型中第 6),480 ms 下为 3.6%,上一代 realtime 型号为 5.2%。Mistral 博客则给出 FLEURS 35 基准的图表:Voxtral Mini Transcribe 3 作为离线基线取得 4.0% 的词错率,为图中最低,低于 Gemini 3.5 Realtime Transcribe 的 4.2%;其自家 realtime 型号按延迟档位(2,400 ms 到 240 ms)给出 5.7%~7.4%。图表注明 Mini Transcribe 3 是离线基线,其余模型均为 realtime。
评论区追问的同一件事:抢话时的漏检
官宣发出 3 分钟后,:「通话里两个人抢着说话时,它表现如何?」用户 Akash Hadagali()把问题接到了业务后果上:「剩下的大部分误差是抢话时的漏听。而在销售电话里,被抢的那句话,往往正是你最需要记进笔记的异议。」
评论者引用的榜单细分里,漏检是 Mini 误差的主要构成:,Mini 的误差中 82% 是漏检,且大多发生在人们互相抢话时。@victor_explore 的结论带着保留:「对一对一通话和播客来说,这已经足够。」
截至本文检索时,已获取的全部回复中没有 @MistralAI 的回应。从评论者引用的数字看,第 2 名与榜首之间隔着约 16 个百分点的 DER。这 16 个百分点落在哪一类错误上、官方是否会给出自己的分项数据,是这条官宣帖留下的问题。