AREXOpen in interactive Feed

AREX Feed Article

Fish Audio 开放权重发布 TTS 模型 Drama 3,登顶 Artificial Analysis 发音榜,宣布 5200 万美元种子轮

October 14, 2026

10 月 13 日,语音公司 Fish Audio 在官方 X 账号发布文本转语音(TTS)模型 Drama 3,并以开放权重(open-weight)形式放出:模型当日上线 Hugging Face 的 ,代码放在 ,已挂上 arXiv。除网页端、iOS 与 Android 应用外,模型也在 API 上线。称它是“全球最具情感表现力与可控性”的 TTS 模型,支持控制单个词的发音方式、改变语气,并在句子中途切换音色;同一帖文还披露公司完成 5200 万美元种子轮、用户超过 1500 万——这两个数字目前只有公司口径。

发布当天,独立评测机构 将 Drama 3 Preview 收入榜单:在发音鲁棒性(Pronunciation Robustness)榜以 93.2% 排到全部模型第一,超过 Eleven v4 的 91.7%;它也是该机构三张 TTS 榜单上排名最高的开放权重模型。但在两个语音对战榜上,Drama 3 Preview 分别排第 10 和第 14,“最具表现力与可控性”目前只拿到部分第三方印证。

导演指令写进台词:方括号决定一个词怎么读

给出的第一组示例,是把导演指令直接写进台词:

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

方括号大意是“强忍情绪、勉强笑着”。博客解释,指令按“对演员说戏”的方式写;[shaky breath](发颤的吸气)、[small laugh](一声轻笑)这类声音事件落在写入的位置;要只改几个词,就把它们包进成对标签——示例里 Go on without me. 被包在 <whisper>…</whisper> 中,只有这几个词是气声。在的编辑器里,选中词语再从 Tags 菜单挑标签即可。

句中换语气同样靠加指令。博客演示的恐怖片台词以 [breathless, speaking fast](急促、语速快)开场,中段换成 [voice drops to a terrified whisper](声音落成惊恐的气声),结尾 [slow, deadly serious] 加 <emphasis> 标签压住最后一句 do not open that door.(别开那扇门)。新指令写在哪,读法就从哪里开始变。

指令语言不必与台词一致:模型支持 83 种语言,博客演示了用中文“像是在强忍着眼泪,却努力笑着”、西班牙语和日语的方向标签去读同一句英文台词。产品页的 Auto Tag 可以给没有标注的台词自动补指令;多说话人场景一次生成,模型卡的说话人标签从 <|speaker:0|> 排到 <|speaker:15|>,一段文本最多承载 16 个角色。API 侧沿用 S2.1 Pro 的同一端点,把请求头里的模型名改成 drama-3,标签原样写进文本字段。

公司联合创始人兼 CEO Rissa Cao 在博客中写道:“语音 AI 已经很会生成语音,下一步是指挥表演。Drama 3 是我们迄今最具情感表现力、最可控的模型。它把创作者放进导演席:用平实的语言描述你要的效果,听一遍,只调整不满意的那些瞬间。这在有声书、多语言配音这类长篇项目里最重要——一个词读错,不应该意味着重新生成一整章。”

开放权重上架,许可画了一条 50 万美元营收线

Drama 3 是开放权重而非开源,许可证是新写的 Fish Audio Community License v1.0:研究与非商用免费;你和关联方年营收低于 50 万美元可免费商用;超过这条线,或把模型当作 TTS、声音克隆、推理服务或 API 转提供给第三方,就需要向公司购买授权。许可同时禁止未经本人同意克隆真人声音;上一代 S2 仍沿用旧的 Fish Audio Research License。Alphasignal 称,这是 Fish Audio 第一款以开放权重形式发布的旗舰可导演模型。

模型本体是 35B 参数的混合专家(MoE)架构,每个 token(词元)只激活约 3B:256 个路由专家里选 8 个,外加 1 个共享专家,主干网络(backbone)从 Qwen3.5-35B-A3B 的语言模型初始化。注意力为混合式,40 层按“三层 Gated DeltaNet 线性注意力配一层门控全注意力”成组,只有四分之一的层保留 KV cache(键值缓存)。新的 codebook-MTP 音频解码器替换了 S2 的逐帧 Fast AR;分词器沿用 S2 基于 Descript Audio Codec 的方案:44.1 kHz、10 个码本(codebook)、约 21.5 帧/秒。权重文件里 MoE 专家为 FP8 精度,其余为 bf16。

官方博客解释了训练取向的转变:语音模型通常拿“容易被转写、听起来像参考音频”当奖励,这会把笑声和气声打低分;Drama 3 改用单独一个“人更偏好哪一版”的奖励模型,它同时听台词和音色,准确度与相似度仍计入,只是不再惩罚你主动要求的笑声。强化学习用 GRPO、不带 KL 惩罚,每步 1,536 条 prompt(提示词)、每条采样 8 个 take(同一句台词的 8 个生成版本)。

推理数据有两套口径:官方博客称推理引擎在 H200 上单流解码 271 帧/秒(S2 为 177);的端到端实测则是并发 1 时吞吐 166.7 帧/秒,单流首音频延迟 p50 为 88.9 毫秒,并发 64 时平均 RTF(real-time factor,实时率)0.80。手册还列出社区 int4 量化版 akhaliq/drama-3-int4,权重体积从 37.0 GB 降到 20.8 GB。据 报道,发布日接入平台包括 ComfyUI、Runway、Pika Labs、OpenRouter、Vercel 等。截至 10 月 15 日,Hugging Face 上已出现 14 个社区量化版本和 15 个使用该模型的 Space。

发音榜的分项数据与两个对战榜的排名

Artificial Analysis 的发音鲁棒性榜专测难读内容:把数字、代码、品牌名和需要靠上下文定读音的词放进英文句子,由真人听众逐词核对。Drama 3 Preview 位居这份榜的全部模型之首,比下一个开放权重模型 Mistral Voxtral TTS 的 78.1% 高出 15 分,并在“独立术语(Standalone Terms)”与“精确保留序列(Preserving Exact Sequences)”两个分项排第一。

官方博客同时给出与自家 S2.1 Pro 的分项对比:品牌、地名与术语 95.9% 对 87.3%;依赖上下文的词 95.3% 对 86.1%;数字、日期与单位 93.6% 对 92.7%;文件路径、邮箱等精确序列 86.3% 对 79.4%;总体 93.2% 对 88.1%。

但两个对战榜没有把 Drama 3 顶上去:在 Provider Voice 榜,它的 Elo(对战评分制)分数为 1,243、排第 10,出场 1,857 次,比 S2.1 Pro 的 1,142 高 101 分;在 Controlled Voice 榜为 Elo 1,058、排第 14,出场 1,804 次。“全球最具情感表现力与可控性”这句自评,在 Artificial Analysis 的三张榜里只有发音一项对应到第一。

定价口径也有分歧:官方博客称目录价为每百万字符 50 美元,10 月 13 日至 11 月 12 日促销价 10 美元(比目录价低 80%);Artificial Analysis 按“每百万字符 15 美元、与 S2.1 Pro 同价”记录,并对照 Eleven v4 的 80 美元;Alphasignal 写为每百万 UTF-8 字节 15 美元。两套数字目前对不上。

种子轮披露与 48 小时促销窗口

种子轮 5200 万美元、用户超 1500 万,两个数字都只出现在公司自己的发布帖里:官方博客未提及融资,Alphasignal 也注明用户数是公司自报口径。发布帖没有列出投资方。

促销与发布同步推出:在发布帖评论区留下 “DRAMA”(发帖后 48 小时内有效),可得 1 个月 Fish Audio Plus 会员;企业用户首月免费,帖内链接指向。按发帖时间(UTC 10 月 13 日 16:02)推算,评论窗口到北京时间 10 月 16 日凌晨截止。API 促销价 10 美元/百万字符与新订 Plus/Pro/Max 计划半价(月付首月、年付首年)都到 11 月 12 日。

截至发稿,这条发布帖获得 15,750 个赞、7,529 条回复、752 次引用和约 1,159 万次浏览;而促销机制要的正是评论区留言。

Uncle Roger 的授权声音,与两款还在内测的编辑工具

官方发布视频里,Uncle Roger 指挥一个用他自己声音制作的 AI 克隆,博客注明“经其许可制作与使用”。这个声音已作为授权音色上架 Fish Audio,用户可以在 Drama 3 里直接“导演”他:产品页的玩法是挑一个厨房罪案听他点评,示例台词是蛋炒饭放番茄酱惹来的那段反应——“Haiyaa。侄子,谁让你往蛋炒饭里放番茄酱?”(原句为 "Nephew, why you put ketchup in egg fried rice?")。发布帖里那句 “Uncle Roger was impressed too”(Uncle Roger 也印象深刻)是营销表述,可核实的事实是这桩授权合作和这条视频本身。

博客给模型划定的用武之地是四类:有声书与旁白、音频剧与虚构类播客、游戏与动画台词、短视频。博客预告的两个编辑工具还没开放:Interactive Editing 支持听完一版后下相对指令(例如“比上一版更柔、更暖”)再重新演绎;Audio Inpainting 改一个词、只重新生成那一个词,前后音频原样保留——博客演示了把一句哭泣台词里的 jacket 换成 scarf,其余部分不动。两者都在小规模邀请测试,编辑 API 尚未推出。Alphasignal 引用公司联合创始人兼首席科学家 Shijia Liao 的话:“改一个词的时候,Drama 3 会听它两边的音频,让新词贴上去。同样的声音、同样的情绪、同样的节奏。这听起来是件小事,但它是模型里最难做对的部分之一。”

产品页 FAQ 自己写明:模型仍在预览期,“同一句台词每次生成的结果不同,多生成几版,挑最好的那版”。官方博客的结尾则说,如果哪一版没听指令,把台词贴到 Discord——“那是我们最想要的反馈。”

参考链接

  • Fish Audio 官方发布帖(X):
  • Fish Audio 官方博客:Drama 3 发布公告:
  • Fish Audio Drama 3 产品页:
  • Hugging Face 模型卡 fishaudio/drama-3:
  • Drama 3 技术报告(arXiv):
  • Artificial Analysis 评测帖(X):
  • Alphasignal 报道:
  • SGLang-Omni Drama 3 部署手册:
  • fish-speech 代码仓库(GitHub):
  • Fish Audio 企业联系页: