AREXOpen in interactive Feed

AREX Feed Article

OpenRouter 称新路由算法见效:一个月内 GLM 5.3 Flash 首字延迟降 40%、每百万 token 价格降 17%

November 11, 2026

北京时间 11 月 11 日 21 时 30 分(UTC 13:30),OpenRouter 官方 宣布,平台上的推理「更快、更可靠、也更便宜」:过去一个月,GLM 5.3 Flash 用户的 TTFT(time to first token,即首字延迟,从发出请求到收到第一个 token 的等待时间)下降 40%,吞吐量提升 10%,每百万 token(词元)价格($/1M)下降 17%。帖子把三项改善全部归因于平台的「新路由算法」——用更多流量奖励提供优质推理的提供商。

这条帖子只有三句话和一段视频,没有披露算法技术细节、测算方法和上线时间,也没有给出 GLM 5.3 Flash 之外任何其他模型的数据。但所指的算法并非无从查考:OpenRouter 在 10 月 28 日的里完整公布了这套机制——旧路由几乎只按价格把请求分给最便宜的提供商,新算法改算「一个好答案的成本」。那篇博客附带的对照实验里,还有一个与推文基调不完全一致的数字:实验期间,成本上升了 6.0%。

三项数字均为 OpenRouter 单方口径

发帖账号是 OpenRouter 官方账号(Business 认证),其简介称自己是「大模型的统一接口」,提供 400 多个模型(含 50 多个免费模型)与统一 API。原帖对三项数字的归因只有一句:「这全部归功于我们的新路由算法——它用更多流量奖励提供优质推理的提供商。」

这三项数字的出处只有 OpenRouter 自己。帖子没有说明统计窗口的起止日期、样本范围和测算方法,也没有其他模型的数据可作横向对照。机构公告能证明的是 OpenRouter 作出了这些声明,而不是数字本身成立;截至发稿,本文未检索到能交叉验证这三项数字的独立来源。推文所称的「过去一个月」与这套算法的部署期大体重合:10 月 28 日发布博客时,公司已称新算法「正在起作用」,说明其上线早于博客发布。

旧路由只奖励低价,新算法改算「一个好答案的成本」

OpenRouter 的模式是聚合分发:同一个模型往往由许多托管提供商同时服务,请求默认由平台路由到其中一家。博客给出的数字是,平台上约 77% 的请求流向由不止一家提供商托管的模型。在旧规则下,默认路由几乎完全按输入 token 价格排名:谁便宜,谁拿走大部分流量;请求失败,就转给次便宜的一家。

博客承认这套价格优先的路由带来几个副作用:便宜的托管方即使质量差也能靠价格赢流量;排名对实时性能变化反应迟钝,提供商要差到被完全降级,流量分配才会变化;提供商想赢流量只能降价,挤压了投向可靠性的投入;还有定价游戏——平台按输入价排名,提供商可以报一个刻意压低的输入价,再用高价缓存 token 和补全 token 把差价赚回来。

新算法把这套逻辑换成一个博客称为 Routing Cost(路由成本)的指标,回答两个问题:「一次尝试花多少钱?成功率多高?」博客给的示例:价格 $0.40 加等待 0.60,一次尝试成本 1.00;成功率 80%,意味着平均要试 1.25 次才得到一个好答案,路由成本即为 1.25——数值越低,赢得的流量越多。其中「一次尝试的成本」按实测数据计算:有效价格取最近流量的实付价格,反映真实缓存命中率和输入输出构成,与挂牌价可能差别很大,堵住了低输入价配合高价缓存、补全 token 的玩法;等待时间按端到端吞吐(含首字等待)折算,TTFT 再单独计一次权——博客解释,交互式使用最吃这个指标,agent(智能体)会话里模型可能连续发起多次工具调用,每次都要等一个首 token。

成功率一侧的扣分更重。可靠性错误(提供商自身原因导致的失败)罚金很重,错误率远高于同模型其他提供商时,路由器直接停发请求直到其恢复;429 限流按发生频率计入等待加罚金,博客称单次影响通常不大,反复限流主要通过容量上限和回退机制起作用;质量检查目前主要看工具调用返回的格式是否良好,被标记工具调用损坏或基准得分远低于模型应有水平的提供商,在标记解除前只分到少量测试流量。

流量也不是全给第一名——把所有请求都发给最优提供商会把它压垮。博客描述的分配方式是:在「竞争力边缘」之内分享大部分流量,落后一点就少分一点,出了边缘份额骤降但仍有涓流。三条护栏叠在上面:保底(每家都保留涓流以便发现好转,新端点从模型典型水平起步)、回退(开始出错或限流的提供商分到更少)、上限(路由器学习每家在返回 429 前能承受的负载,把多余流量溢给别家,扩容后上限自动上调)。会话首个请求由算法选提供商,之后固定不动以保住 prompt cache;指定 provider.order 或显式 provider.sort(price、throughput、latency)的请求仍走用户自己的排序,默认请求不需要改一行代码。

官方对照实验:一周 2,400 万次请求的对照结果

为了测量新旧路由的差异,OpenRouter 没有做普通 A/B 测试。博客解释,路由行为的变化没法与对照组隔离——如果新算法把流量从一家状态不佳的提供商挪走,旧算法分到那家的请求反而会因空闲容量变快,污染结果。于是他们做了 switchback(逐段切换新旧版本)实验:把每天切成 3 小时区块,在成对匹配的区块之间来回切换新旧路由,每次切换弃置 1 小时热身数据,用一周时间在一批开源模型的代表性样本上完成。实验期间,超过 2,400 万次请求、1,030 亿个输入 token 在新旧两套路由之间对半分配。

结果表里,速度和稳定性指标全部改善:TTFT p50(中位数)从 1,007 ms 降到 837 ms(下降 16.9%,95% 区间 13.9%~19.8%),TTFT p95(第 95 百分位)下降 18.9%,调用方视角的 p95 下降 25.3%;吞吐量 p50 从 62.4 tok/s(每秒输出 token 数)升到 72.6 tok/s(提升 16.3%);至少遇到一次 429 限流的请求占比从 7.1% 降到 3.8%,减少 46%;需要重试的请求从 10.4% 降到 6.9%;单次请求总时长(到收完最后一个 token)p50 从 4.00 秒缩到 3.24 秒。博客还强调,这些改善出现在提供商尚未针对新算法做优化之前。但成本一栏是另一番景象:每千次请求成本从 $1.25 升到 $1.32(上升 6.0%),每百万 token 成本从 $0.301 升到 $0.324(上升 7.3%)。博客 FAQ 直说新路由可能更贵,因为有时会为了速度和可靠性放弃最便宜的选项。

推文里 GLM 5.3 Flash 的 $/1M「下降 17%」与实验中的成本上升方向相反,但两者口径不同:实验测的是一周内一批开源模型的整体成本,推文说的是单一模型一个月的平均价格,OpenRouter 没有公布后者的测算方法,也没有说明其中是否包含提供商响应新机制主动调价的成分。这两个数字目前无法互相印证。

GLM 5.3 Flash:40 余个托管端点,快慢相差约 14 倍

GLM 5.3 Flash 是 Z.ai 的原生多模态模型,显示其发布于 2026 年 8 月 26 日,上下文 1.0M token,标价每百万 token 输入 $0.0399、输出 $0.0784,模型权重。截至发稿前抓取的模型页显示,该模型有 40 余个托管端点,各家差距悬殊:延迟从 0.35 秒(InferenceNet)到 4.92 秒(AtlasCloud),吞吐从 13 tok/s(Near AI)到 187 tok/s(Makora),都相差约 14 倍;输入价从 $0.0399(Relace)到 $0.1875(Parasail 的 Fast 端点),输出价最高 $0.625,约为最低 $0.0784 的 8 倍;DekaLLM 的正常运行时间只有 87.81%,多数端点报 100%。

同一个模型,路由到哪家托管方,延迟和吞吐的差距可以拉到十倍以上,路由选择因此直接决定体验。模型页把路由模式分为 Balanced(价格与速度)、Nitro(最快)和 Floor(最便宜);按博客 FAQ 的说法,未指定排序的默认请求自动使用新路由,显式指定价格、吞吐或延迟排序的请求绕过它。

并入 Stripe 次日发布,中立承诺再次被重申

路由推文发布约 18 小时前,OpenRouter 刚宣布了更大的动作:11 月 10 日官方账号称「OpenRouter 今日正式成为 @stripe 的一部分」,并称超过 1,000 万开发者和企业在使用这个平台。那篇帖子里有一段话与路由直接相关:「我们的中立承诺不变。模型和提供商在质量、可靠性和价格上竞争,由你决定什么适合你的业务。」

次日的路由推文把这套竞争落到流量分配上,博客的原话是「创造更多价值的提供商自动赢得更多流量」。不过这是 OpenRouter 对自己系统的表述;提供商如何响应这套激励机制,目前没有公开的第三方评估。

回复区里,用户的追问很具体。Giacomo Masseroni 「用流量奖励好提供商是对的方向」,但问「什么算『优质』——只看延迟,还是也看错误率」;AlphaCore 算法是否也把正常运行时间计入权重。Plume 的开发者提供了一个小场景:他们为 Mac 做的改写应用跑在用户自己的 OpenRouter key 上,「改写两句话时,等第一个 token 的时间几乎就是全部等待。40% 是很大的改善」。截至发稿,OpenRouter 没有在回复区补充技术细节;三项月度数字的测算方法、GLM 5.3 Flash 之外其他模型的数据,也仍未见公布。下一个可核验的节点,是这套月度数据是否会扩展到其他模型。

参考链接

  • OpenRouter 官方推文(2026-11-11):
  • OpenRouter 博客《How we rebuilt provider routing for better, faster inference》(2026-10-28):
  • OpenRouter 模型页:Z.ai GLM 5.3 Flash:
  • GLM-5.3-Flash 模型权重(Hugging Face):
  • OpenRouter 宣布并入 Stripe 的推文(2026-11-10):
  • Giacomo Masseroni 的回复:
  • AlphaCore(ahameddolon)的回复:
  • Plume 的回复: