AREX Feed Article
微软 AI 宣布 MAI 语音与转写模型上线 LiveKit,称可用于构建富有表现力的语音 agent
微软 AI 的官方 X 账号在中称,MAI 模型现已在 LiveKit 上线,开发者可以用它们构建富有表现力的语音 agent(智能体)。该帖发布于 10 月 2 日 16:00 UTC(北京时间 10 月 3 日 0 点),距三款 MAI 模型发布不到 24 小时。
微软 AI 在 10 月 1 日了三款模型:流式转录模型 MAI-Transcribe-2-Streaming,以及语音模型 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash,官方称后两者提供自然语音、缩短轮次之间的等待时间。显示,微软列出的可用渠道包括 Microsoft Foundry、MAI Playground、Vercel 和 Azure Voice Live,LiveKit 被标注为「coming soon」(即将上线)。
从「即将上线」到可用
这个被标注为「即将上线」的渠道,先从 LiveKit 这一侧落地。livekit/agents 仓库的显示,提交「feat: add Microsoft AI speech plugin (#7378)」于 10 月 1 日加入该仓库;随后,插件包 livekit-plugins-microsoft-ai 的 1.8.4 版本,目前该包在 PyPI 上只有这一个版本。10 月 1 日 22:54 UTC,LiveKit 官方账号这三款模型已在其平台上线,并附上开发文档链接。
这两天公布的渠道更新还有两条:10 月 1 日,微软 AI MAI 模型上线 Vercel;10 月 2 日,又 MAI 语音模型上线 OpenRouter。半小时后,微软 AI 发出了 LiveKit 渠道的上线帖文。
LiveKit 的两个插件:TTS 与 STT
开发者接入时用到的是两个插件,LiveKit 的开发文档已经给出说明:一个是 ,把 MAI 语音模型作为语音合成提供方,音频通过 Azure Speech 的 REST 接口合成;另一个是 ,把音频流送到 Azure 的实时转写 WebSocket 接口。两者共用同一条安装命令:uv add "livekit-agents[microsoft-ai]~=1.8",文档标注均支持 Python。
LiveKit 在上线帖文中建议的搭配是:MAI-Transcribe-2-Streaming 负责转写、MAI-Voice-2.1-Flash 负责发声,构建「高效且富有表现力」的语音 agent;帖文还援引 Artificial Analysis 的准确率榜单。按该机构的,MAI-Transcribe-2-Streaming 的流式最终转写词错误率(WER)为 2.5%,语音结束后 0.13 秒出稿,在 38 款模型中排名第一。
接入前提:自带 Azure 资源,STT 只支持流式
两个插件都要求开发者自备 Azure 资源:TTS 插件需要 Azure Speech 资源的密钥与区域,STT 插件需要单独的端点 URL、API 密钥与模型部署名。仓库 专门提示,一套 Azure Speech TTS 资源与密钥,不代表 STT 服务也能用,两者需要分别配置。此外,插件不设默认端点、模型、音色和采样率,这些值需要向你的部署方(deployment owner)获取。
STT 侧的限制更具体:只支持流式转写,批量接口 recognize() 不可用;它需要自己的 VAD(语音活动检测)来判定每句话的结束,文档特别提醒,只配置 AgentSession 的 VAD 不够,要把同一个 VAD 同时传给 STT 与会话。
TTS 侧也有取舍:插件等完整响应校验通过后才输出音频,README 写明不宣称原生流式,增量文本由 AgentSession 自带的句子级适配器处理。配置上还有一处细节:音色 ID 形如 name:model(例如 en-US-Harper:MAI-Voice-2-Flash),并且 MAI-Voice-2.1-Flash 与 MAI-Voice-2-Flash 不被当作同一别名。插件不含 LLM(大语言模型),也没有语音到语音的实时模型,只覆盖 STT 与 TTS 两个环节。
还没验证的部分:区域可用性与长会话稳定性
插件作者把验证范围写进了 README:目前只有有限范围的实机冒烟测试,包括用 MAI-Voice-2-Flash 走通本地 LiveKit 房间里的语音播放、用一段合成英文语音走通流式转写,以及一项五回合的浏览器/WebRTC 合成测试。
README 同时列出了这些测试不能证明什么:所有区域与资源的可访问性、跨输入与语言的识别准确率、后端音频尾部的边界、长会话可靠性、物理麦克风表现与主观音质;这些结果也不是模型延迟基准。
可用性方面,README 的表述是「仍取决于资源与区域」;落到操作层面,它的要求是:端点、模型与凭据从自己的部署方处获取,新部署则要自行验证握手、提交顺序与事件字段是否满足契约。