AREX Feed Article
NVIDIA 发布开放权重语音模型 Nemotron 3.5 Transcribe：40 种语言、最长 1 小时录音，vLLM 发布当日即可部署
北京时间 10 月 28 日深夜，NVIDIA ，官方帖文称它是一个带约 4B 激活参数的 30B MoE（Mixture of Experts，专家混合）模型，把 40 种语言的转写、说话人标注、翻译、上下文提示和音频问答装进同一个 checkpoint；给出更完整的口径：总参数约 34B，含音频编码器在内每 token 激活约 4.3B，单条录音最长 1 小时、上下文 65,536 token。权重以 BF16、FP8、NVFP4 三种精度开放（还提到 GGUF 版本），采用允许商用和非商用的 许可，已上架 Hugging Face 与 ModelScope。
发布当天，确认该模型通过 vLLM + NeMo Speech 获得 Day-0 服务：用 NeMo Speech 的 vLLM 0.32.0 插件即可启动，走 OpenAI 兼容的 chat completions 接口，支持 MTP 投机解码。两边帖文给出的成绩口径一致：英语 Open ASR 榜在开源权重模型中列第 1，平均词错误率（WER）5.33%；多语言 Open ASR 榜 7 种语言平均 WER 4.62%。
一句提示词，决定转写长什么样
Transcribe 属于语音增强语言模型（SALM）：音频转成向量后替换提示词里的 <|audio|> 占位符，由语言模型按指令生成文本。模型卡的提示指南显示，同一段录音可以要逐字稿（保留语气词、重复和口头语），也可以要书面体（数字、货币、日期用符号书写）；可以把 EBITDA 这类术语写进提示做上下文偏置；可以用 <spk:0>、<spk:1> 标签要求逐句标注说话人，也可以要求富转写——用 <ev:> 标非语音发声、用 <sty:> 标说话风格。把定位概括为：过去要「转写、说话人标签、翻译」多个模型各管一段，现在一个可提示的模型全包，还额外能回答关于录音的问题。
说话人标注发生在生成阶段：说话人线索随声学特征一起进入语言模型，生成时就能给每句话贴标签，最多区分 8 个说话人；词级时间戳则是解码完成后，由 CTC（Connectionist Temporal Classification，联结时序分类）适配器把生成的文本强制对齐回音频得到的（技术报告第 2.5 节）。音频问答走另一套采样配置：转写和翻译用温度 0、关闭推理模式，音频问答则建议开启推理、温度 0.6、top_p 0.95。
边界同样写在模型卡里：这是离线模型，编码器内部的 30 秒分块是处理细节，不构成实时流式服务；超出训练上限不保证泛化；音频问答只在英语上训练过；说话人标签用于区分录音内的说话人，不用于确认真实身份。列出了能力分布：40 种语言可转写、31 种可与英语互译、13 种支持说话人标注；语言矩阵把 13 种语言标为最高档「Leading」（含美/印/英三地英语、法、德、意、韩、俄、西等），日语、泰语等 15 种为「Production-ready」，中文普通话被列入「Supported」档——官方定义是「可用，可能需要微调」。RTX 博客补充称支持的语言里含七种印度语言。
音频如何进入 30B 主干
技术报告给出了完整架构：16 kHz 音频先转成 128 维 log-mel（对数梅尔）特征（10 ms 步长），按 30 秒切块，进入「并行专家编码器」（Parallel Expert Encoder）——一条是 32 层 Transformer ASR 分支，约 0.6B 参数，帧堆叠后每帧覆盖 80 ms 音频；另一条是冻结的 Sortformer 说话人分支，约 100M 参数，逐帧估计最多 8 个人的活跃概率，经固定的 8×1280 正弦核映射后加到 ASR 表征上，再投影到 2,688 维送入语言模型。
语言主干是 Nemotron 3.5 Lightning 30B-A3B：混合 Mamba–Transformer MoE，128 个路由专家、每 token 激活 top-6 加 1 个共享专家，层间按 Mamba-2×23、MoE×23、注意力×6 交替排布，激活约 3.5B 参数；加上约 800M 的联合音频编码器，全模型激活约 4.3B。报告称整个训练由一段监督微调（SFT）加一段短强化学习（RL）完成，音频训练数据约 172 万小时（含重复曝光约 653 万小时）、约 3.72 亿条样本。
投机解码内置在架构里：模型与 MTP（Multi-Token Prediction，多 token 预测）头联合训练，推理时复用重复层，一次最多可猜 8 个 token；NVIDIA 另外提供了一个基于 DFlash2 块扩散的独立起草模型供选用。模型卡显示，checkpoint 里直接带了用于词级时间戳和说话人标注的 CTC 头与说话人编码器。
榜单第 1 的两种口径
帖文里的「第 1」来自 ——一个由第三方运营的语音识别基准。NVIDIA 技术博客说明英语榜口径：开源权重模型中第 1，平均 WER 5.33%（不含 API 专有模型）。技术报告则给出另一个数字：只用公开的 9 个测试集自评，平均 WER 4.71%，同样是开源权重中最好——差距的原因写在报告里，排行榜默认排名还包含他们拿不到的私有测试集。多语言榜 7 种语言平均 WER 4.62%（帖文与技术报告一致，模型卡列次优为 Qwen3-ASR-1.7B 的 6.49%）；长音频档平均 WER 10.98%，次优 Parakeet-TDT-0.6B-v3 为 13.37%。
说话人相关成绩是这次发布着墨最多的部分：模型卡列多说话人全场合话平均 cpWER（说话人标签匹配后的词错误率）15.80，低于 DiCoW v3.3 + DiariZen 的 16.83；技术报告称，据其所知这是第一个在该任务上超过专用级联系统的 SALM。第三方口径中，NVIDIA 博客引 Artificial Analysis 的 AA-WER 指数（该评测机构自有的词错误率指数）：2.8%，与另一个激活参数 24B 的开源模型并列开源第 1，激活约为对方的六分之一；在语音代理场景的 AA-AgentTalk 上 1.8%，次优开源模型 2.3%。说话人分离（diarization）方面，David AI 的 21 语言榜上 DER（说话人时间错误率）18.26% 为 14 个受测系统最低，第二名 18.38% 是 NVIDIA 自家的专用模型 Nemotron 3 Diarization；VoiceArena 的英语全场合话基准上，cpWER 32.4% 排 14 个系统第 1，漏掉的词占参考词的 8.32%，而受测系统中位数约 31%。需要说明的是，这些数字均出自 NVIDIA 发布材料的引用，各榜单由第三方运营。
数据管线与微调：45.8% 的相对错误率下降怎么来的
Transcribe 的训练数据由 NVIDIA 开源的 Granary v2 管线准备：公开清单覆盖 48 种语言、16 个源语料库、463,062 小时音频，为每条录音生成三种转写形态（文本规范化逐字稿、带口语特征的逆文本规范化、不带口语特征的干净稿），并产出音频问答对、上下文偏置术语和带质量分的翻译。微调工具放在 NeMo Speech 里：技术报告称 17 个任务各自在一块 GB300 GPU 上完成适配，通常每任务 0.5～2.3 GPU 小时，有的只需几分钟音频。
技术博客给出一个医疗场景的完整算例：在 Eka Care 的印度医生语音基准（3,619 条录音）上，仅靠把「英语、拉丁字母」写进提示词，就把全基准 WER 从 30.8% 降到 23.8%；再用约 153 小时合成语音、29 小时带口音的 Common Voice 英语和 63 小时 MultiMed 医疗录音做 LoRA（低秩适配）微调后，在与调优说话人完全隔离的保留集上，WER 从 22.44% 降到 12.17%，相对下降 45.8%，关键词 WER 从 9.2% 降到 6.5%。代价同样写明：通用英语 LibriSpeech test-clean 从 1.54% 微升到 1.69%。整个适配流程约 14 GPU 小时（单块 GB300）。
Day-0 背后：插件先行，原生集成当日合入
时间线上，NVIDIA 官方帖文与技术博客于北京时间 10 月 28 日 23 时前后发布，vLLM 帖子在 23:27 跟进；截至本文取数，NVIDIA 帖文已获约 2,500 次点赞和超过 16.8 万次浏览。 由 DongjiGao 于当天 21:38 发起，23:49 合入主干——vLLM 发帖时它还在「评审中」，约 20 分钟后完成合并。这个 PR 新增 Nemotron3_5TranscribeForConditionalGeneration 架构和原生音频塔，加载 BF16、FP8、NVFP4 checkpoint，支持带音频的 chat completions 与 /v1/audio/transcriptions 端点，以及 MTP 和 DFlash2 投机解码；按 PR 说明，checkpoint 里的 CTC 时间戳头这次被跳过，词级时间戳列为后续工作。
发布日即可用的路径是插件方案：模型卡的部署示例要求 vLLM 0.32.0 加 主分支，设置 VLLM_PLUGINS=nemo_speechlm 等环境变量后在单块 H100 80GB 上启动，用 OpenAI SDK 的 chat completions 接口传入 base64 音频。硬件兼容表覆盖从 A100 80GB（仅 BF16）、H100/H200（加 FP8）到 Blackwell 系（再加 NVFP4）的卡，RTX 5090 仅支持 NVFP4，RTX 5090 与 RTX PRO 6000 还可走 GGML；SGLang-Omni 0.2.0 也在支持列表中。
性能数字存在两套口径。模型卡称，NVIDIA 自家推理微服务 NIM 里的优化版 vLLM 实现在一块 RTX PRO 6000 Blackwell Server Edition 上（NVFP4 加 DFlash2 投机解码）每秒能转写 2,238 秒音频，30 秒录音 0.13 秒返回；技术博客把它换算成「100 小时音频不到 3 分钟处理完（30 秒片段高并发）」。但模型卡随即说明：这些服务优化尚未进入开源版本，NVIDIA 计划日后上游到 NeMo Speech 与 vLLM；发布日随 NeMo Speech 提供的 vLLM 集成定位是模型开发用途，预计慢约 2 倍。不想自建的用户可以走托管端点——推理服务商 ，技术博客列出的托管方还有 DeepInfra 和 Simplismart。生态侧的早期用例也在同日出现：实时互动平台 Agora 用词级时间戳把录播课程与转写逐句对齐，做成了课堂演示。
截至发稿，开源路径上还差两块：原生 vLLM 集成虽已合入，词级时间戳要等后续提交；NIM 级吞吐所依赖的服务优化仍在 NVIDIA 内部实现中，开源用户何时能拿到，取决于官方所说的上游进度。