AREX Feed Article
Google 发布 Gemini 3.8 Flash TTS:从零设计角色声音、编排双人对话并逐句控制表演
Google 发布了文本转语音模型 Gemini 3.8 Flash TTS:它可以用自然语言从零设计原创角色声音,覆盖 100 多种语言;在一条脚本里编排两位说话者的对话;并逐句控制表演细节,包括自然的笑声、叹息与耳语。官方 X 账号 @Google 的把这次发布概括为“将语音生成变成你的完整创意工作室”。
帖文的中附有“了解更多”链接,指向 Google 官方博客,后者与 一起给出了完整细节。两份材料均发布于 9 月 23 日;@Google 的帖文发布于北京时间 9 月 29 日凌晨。材料显示,发布的是一对模型:除 Flash TTS 外,还有面向高吞吐、低成本的 Gemini 3.8 Flash-Lite TTS。
两款模型:一款追求表演上限,一款追求吞吐与成本
两款模型的定位不同:Gemini 3.8 Flash TTS 面向深度创意指导与角色设计,官方给出的适用范围是游戏、沉浸式有声书、播客与互动媒体;Gemini 3.8 Flash-Lite TTS 主打高吞吐、低成本,面向大批量配音、音频内容生产与实时语音智能体。
官方给出的语言数字更具体:Flash TTS 支持 130 种语言,Flash-Lite TTS 支持 101 种。两款模型共用同一套 API 结构与提示词格式,切换只需更换模型名。
开发者指南给出的选择建议更直接:把 Flash-Lite 当作旧版模型 gemini-3.1-flash-tts-preview 的默认替代;只在需要录音棚级表演、带接话的双人对话、方言表演或长篇叙事稳定性时,换用 Flash。
从零设计声音:提示词生成、2,000+ 音色库与克隆门槛
从零设计一个声音,靠提示词完成。按开发者指南,用户可以描述角色的年龄、音色、口音与节奏,生成全新声音,并保存成可复用的 voice ID(声音标识);官方示例包括“50 多岁的肯塔基乡村拍卖师”和“1969 年休斯顿 NASA 飞行指挥”。设计一次、反复引用,不必每次重发角色设定。
音色的来源分几层:30 个录音棚基础音色(Puck、Kore、Algenib 是其中三个);超过 2,000 个可检索的扩展语音库音色,覆盖墨西哥西班牙语、魁北克法语、苏格兰英语等地区变体;再往上,是用提示词生成或从样本复刻的自定义声音。
克隆的边界写得很具体:一段 30 秒的录音样本即可复刻一致的声音(须为本人声音,或拥有使用权的声音),但创建之前必须提交声音本人的口头同意录音并通过验证。Google 称,其音频模型生成的每段音频都嵌入 SynthID 水印,克隆场景另附 C2PA 凭证。
保存下来的自定义声音可以在不同项目间复用;Google 表示,在数小时连续音频里,声音漂移极小,适合播客与有声书。
逐句导演:文本按逐字稿念出,风格指令放进 speech_metadata
声音定下来之后,下一层控制落在每一句台词上。新模型把输入文本严格当作逐字稿:写进文本的内容都会被念出来,例外只有两类:尖括号里的瞬时音效,与竖线包起的接话短句。持续性的表演风格则放进每一轮发言的 speech_metadata.style 字段,比如“耳语般急切”或“极度挫败、平直单调”。
瞬时动作留在它该出现的位置:<laugh>、<sigh>、<breath>、<short pause>、<gasp>、<cough> 这类内联标签会触发一次性的非语音声音;难读的专有名词可以附上国际音标(IPA)拼写来锁定发音。开发者指南还提醒:即使生成的是西班牙语、日语或印地语语音,内联标签也保持英文。
开发者指南演示了同一段台词的连续切换:从“纪录片式的屏息耳语”,切到“最大音量的惊恐喊叫”,再回到“上气不接下气”。
双人对话只需要一次 API 调用:在对话(conversational)模式下,两位说话者的声音保持分离,按自然的轮次交接;如果把 1~3 个词用竖线包起来(|mhm|、|wait|、|yeah|),另一位说话者会同时把这句话说出来,制造背景接话与重叠交谈的效果。
迁移需要调整提示词结构。旧版 3.1 里常见的做法是把导演备注和台词写进同一段文本,这类提示词在 3.8 上可能失灵:模型可能把“开心地说”这样的指令直接念出来。开发者要把持续风格搬进 speech_metadata,并让每一轮都显式标注说话人;单次请求的输入上限是 8,192 token(词元),输出上限是 16,384 token。
榜单与数字:71.4 分排第一,但并非每栏都领先
对表演质量的主张,Google 用第三方榜单与数据来支撑,并把图表放进了博客。按其公布的数字:在 Hume AI 的音色设计榜(Voice Design Benchmark)上,Gemini 3.8 Flash TTS 以 71.4 分排在第一,高于 ElevenLabs Voice Design v3 的 70.8 和 Inworld Voice Design 的 69.8;口音建模一项,Gemini 是 60.8,两家对手分别为 45.4 和 35.8。不过在同一张表的“Voice Qualities”一栏,Gemini 的 74.6 低于 ElevenLabs 的 76.6。
在 Hume 的质量总评榜(Overall Quality Index)上,Flash 与 Flash-Lite 分别以 0.920 和 0.914 排在第一、第二,高于 Gemini 3.1 Flash TTS 的 0.783。但并非每一栏都领先:“Human-like variation”一栏,ElevenLabs v3 的 5.00 高于 Flash 的 4.58;Google 占优的栏目是“Multispeaker”(4.14)与“Style Tag Control”(4.34)。Google 称,相较于 Gemini 3.1 Flash TTS,新模型在长篇内容与双人剧本控制两项用例上有明显改进。
多语言盲测上,Google 称两款模型在 Voice Arena 的日语、巴西葡萄牙语、越南语、现代标准阿拉伯语(MSA)、墨西哥西班牙语与印地语偏好中占据前列。图表给出的例子是:日语一列,Flash 的 1,232 分高于 ElevenLabs 的 1,048 与 OpenAI 的 975;英语一列,反而是 Flash-Lite 以 1,087 分领先自家的旗舰。
上述数字均来自 Google 的发布材料与配套图表。
上线范围:开发者已可用,企业渠道与语音再混合待上线
对开发者,两款模型在 Gemini API 与 Google AI Studio 中提供;AI Studio 里上线了一套语音设计工作区,可以从零生成声音、复刻自己的声音,再进入双人剧本编辑器逐行导演。普通用户的入口分别是 Gemini Notebook(Flash TTS)与 Google Vids(Flash-Lite TTS)。
接入层面,Agora、LiveKit、Pipecat、Vercel 等平台给出了 Gemini TTS 的接入文档;Google 称,Figma、HeyGen、Linguana、Wondercraft、99.co、Ollang 等公司正在把最新模型用于全球配音、带地区口音的媒体本地化与规模化语音智能体。
Google 博客还放出了一组合作方评价卡。Figma Weave 产品总监 Jonathan Gur-Zeev 写道:“Gemini 的新文本转语音模型让我们可以在 Figma Weave 里制作自然的声音,并完整控制情绪、语气与演绎。它把声音设计变成画布上新的创意层,帮助团队在一个地方导演完整的感官故事。”
对企业客户,通过 Gemini Enterprise 调用这两款模型的 API 仍标注为“即将推出”;同样要等的还有语音再混合(voice remixing):按 Google 的描述,它允许在选定音色后,继续用提示词微调音色、音高、语速与口音。