AREX Feed Article
Inception 发布 Mercury Voice:官方称延迟比 GPT-6 Luna 等模型低 2 倍以上,仅限企业客户
Inception(X 账号 @_inception_ai)在 中发布 Mercury Voice,一款面向语音智能体(agentic voice)应用的扩散大语言模型(diffusion LLM)。官方称,它的延迟比 GPT-6 Luna、Gemma 4 31B 与 Claude Haiku 4.5 低 2 倍以上,在多项语音基准上的成绩优于这三者;产品仅面向企业客户开放。
在同日给出了更具体的数字:在来自语音 AI 公司 OpenCall 的客服场景提示词上,Mercury Voice 的「首答 token 时间」(TTFAT,即模型结束推理、开始输出用户真正会听到的回答的时间)中位数(p50)为 320 毫秒,95 分位(p95)为 750 毫秒。对照其公布的图表,GPT-6 Luna(无推理档)与 Gemma 4 31B(无推理档)的对应中位数都是 1.24 秒,Claude Haiku 4.5(推理档)为 4.95 秒。这些数字全部出自 Inception 自己的测量。
语音对话的 500 毫秒窗口
Inception 在博客里把语音交互的响应窗口定在约 500 毫秒:说话人讲完,如果超过这个时间还没有回应,停顿就会显得别扭。它因此用 TTFAT 来定义「答上话」的时点——推理结束、模型开始生成用户会听到的回答,才算数。
在里,Inception 称,低推理档的 Mercury Voice 是唯一「稳稳落在预算内」的模型。按其博客的柱状图,除 Mercury Voice 外,最接近 500 毫秒的配置是跑在 Cerebras 上的 GPT-OSS-120B(低档),520 毫秒;GPT-4.1 的 p50 为 870 毫秒,Gemini 3.5 Flash Lite 为 930 毫秒。
同一张柱状图还标出了 p95:Gemma 4 31B(无推理档)为 3.51 秒,Claude Haiku 4.5(推理档)为 12.55 秒。Inception 的说法是,尾延迟在语音应用里与中位数几乎同等重要,p95 若达到 4 秒,大约相当于每 20 轮对话就有一轮会失败。Mercury Voice 自身的推理档位越高、延迟也越高:中档 p50 为 550 毫秒,高档为 1.11 秒。
扩散路线:先起草稿,再并行细化
Mercury Voice 的「扩散 LLM」标签来自 Inception 的技术路线。里,Inception 这样描述 dLLM(扩散大语言模型)与主流模型的差别:自回归模型一次生成一个 token,推理越深就越慢;扩散模型先给出输出的粗稿,再并行细化 token,一步生成多个 token。
Mercury Voice 最初随那次 Mercury 2.5 发布以预览形式亮相,当时的描述是「面向延迟预算最紧的语音智能体」;9 月 29 日的公告称,它开始对企业客户正式提供。
自测基准的对比对象与图上的例外
除延迟外,Inception 还给出了一组质量对比,称 Mercury Voice 在 τ³-bench 上的得分高于 GPT-6 Luna、Gemma 4 31B 与 Claude Haiku 4.5。博客介绍的复合基准包括 τ³-bench 的 Telecom、Retail、Airline 三个子项,以及 IFBench 与 BFCL v4。
在其对比表中,Mercury Voice(低档)的平均质量分为 70.5,Gemma 4 31B(无推理档)为 59.0,GPT-4.1 为 51.4。分项里持平的一项是零售(Retail):Gemma 4 31B 与 Mercury Voice 同为 69.3 分;电信(Telecom)与航空(Airline)两项差距更大:Mercury Voice 分别以 77.2 对 50.0、78.0 对 66.0 领先于 Gemma 4 31B。对比涉及的模型与推理档位,由 Inception 选定。
另一张「质量—延迟」散点图里,Mercury Voice(低档)的点位于 500 毫秒线左侧的上方区域;全图中质量分高于它的只有 GLM-5.3 Flash(低档)与 Qwen3.5 397B(instant)两个点,而它们的延迟位置明显更靠右。博客自己的表述是「高于几乎其他所有被测试模型」。
三档推理、128K 上下文与每百万 token 0.40/1.50 美元
按博客描述,Mercury Voice 会推理、调用工具、遵循长系统提示词,同时把延迟保持在自然对话的水平。它提供低、中、高三档推理强度;上下文窗口为 128K token,单次最多输出 50K token。
价格是每百万输入 token 0.40 美元、每百万输出 token 1.50 美元;上线期五折,即 0.20 美元与 0.75 美元。Inception 按「典型语音智能体负载」折算的成本约为每分钟 0.009 美元,并称这约为 GPT-4.1(其给出的数字为每分钟 0.045 美元)的五分之一。
已经接进生产流程的三家语音公司
Inception 在博客中引述了三家已把 Mercury Voice 接进生产流程的语音 AI 公司。
Audivi AI 用它做汽车餐厅(drive-thru)的全自动点单,处理实时对话、复杂改单与推荐加购,全程没有人工介入。其首席产品官 Jason Riggs 说:「在汽车餐厅,订单就赢或输在那段停顿里。Mercury Voice 缩短了停顿,又没有逼我们把智能体的能力降下来。」
Altur 为金融机构处理来电,实时谈判还款方案、应对异议。其联合创始人兼 CTO Pedro Fernández 说,Mercury Voice 是他们测过最快的模型,「这是第一次,语言模型不再是我们语音管线里的瓶颈」。
OpenCall 的联合创始人兼 CEO Oliver Silverstein 说,实时智能体公司过去总要在「答得聪明」与「答得够快」之间二选一。而据 Inception 博客引述的数据,OpenCall 的电话智能体在生产负载上的模型响应中位延迟,已压到接近 170 毫秒。
开通路径:一封发往销售邮箱的邮件
Inception 称,Mercury Voice 通过 Inception API 以 OpenAI 兼容端点提供,可以直接放进 LiveKit、Pipecat、Vapi、Retell 或自建语音管线的模型位。
公告的回复区里,Maciej Wolski 说,他会「等到不需要先联系 sales@ 才能用模型」的那天;Marsly 则写道,「很想用,但它不在 OpenRouter 上」。
同门的 Mercury 2.5 在 9 月 8 日发布时,已同时上线 Inception API、OpenRouter 与 Baseten;Mercury Voice 目前的接入入口,是 这个邮箱。
参考链接
- _