AREX Feed Article
OpenRouter 称 agentic 流量中位缓存率从 1 月 44% 升至 9 月 85%
10 月 9 日,称,2026 年缓存率大幅改善:其平台上 agentic 流量(由 agent 发出的调用)跨提供商的中位缓存率,1 月为 44%,9 月升至 85%。帖文把结论概括为一句话:「更多缓存,更低成本,各方都受益」,并表示当周的数据简报 Inferred 对这一趋势做了进一步分析。
更完整的版本在 里。这份简报 10 月 8 日发布,包含完整图表与口径说明;帖文里的 44% 和 85%,与简报给出的提供商中位数一致。这批数字衡量的是 OpenRouter 平台自身的流量,由该公司统计并发布。
口径:缓存率怎么算,统计的是哪些流量
简报给出的口径是:缓存率等于缓存 prompt token 除以全部 prompt token。所谓缓存 prompt token,是模型此前已经处理过的上下文片段,提供商对它们的收费远低于新输入。图表方面,每张图只统计脚注标明的部分,且都排除了转售商活动;价格采用截至 10 月 7 日的 OpenRouter 标价。
agentic 这个类别由 OpenRouter 自己划出:它每月把每个 API key 归入 agentic、human 或 mixed 三类,依据包括调用工具的频率、每段会话的轮数,以及请求之间的间隔节奏。44% 与 85% 都取自提供商中位数,每家提供商在图上是一个点,中位线按点计算,不是按 token 量加权的平台平均值。
提供商分布:9 月十一家超过 90%,1 月只有两家
在简报 9 月的图里,54 家提供商的中位缓存率为 85%,11 家跨过 90%。其中 OpenAI 是图上最大的气泡(气泡大小代表 prompt token 量),Together、Z.ai 和 DeepSeek 也在这一行列,DeepSeek 以约 96% 居首;低于 70% 的只剩少数小提供商。
作为对照,1 月的图覆盖 35 家提供商:中位缓存率 44%,只有 2 家超过 90%,且两家流量都很小;体量最大的 Google 和 Anthropic 也只在 65% 到 80% 之间。简报称,推理提供商这一段的变化尤其迅速。
agent 每一步都在重发同一段上下文
一个 agent(智能体)每一步都会把整段上下文重新发给模型:system prompt(系统提示词)、工具定义、读过的文件,以及此前每一次工具调用的历史。每一步只添加少量新信息,然后请求一段很短的回复。于是,agentic token 的绝大多数,是模型此前已经见过的 prompt token。
简报的统计是:9 月,缓存 prompt token 占全部 agentic token 的略低于 90%;新 prompt token 构成其余部分的大头,输出与推理合计约 1%。1 月的缓存占比接近 60%。人类一侧相反:人在对话里不断提出新问题,新 prompt 仍占多数,输出与推理约占 12%。这两组统计的口径不同:一个看 token 构成,一个看提供商缓存率的分布。
缓存率之所以重要,也与 agentic 流量本身的体量有关。9 月最后一周,agentic API key 使用的 token 约为人类 API key 的 7 倍;2 月 6 日,agent 在 OpenRouter 上的 token 用量首次超过人类。图中最后一周的周用量,agentic 为 130.9T(约 130.9 万亿),人类为 18.3T。
缓存读的价格是输入价的十分之一
缓存率能压低成本,靠的是缓存读与新 token 的价差。简报称,在 Anthropic、OpenAI 和 Google 当前的前沿模型上,一次缓存读的价格是新输入 token 的十分之一、输出 token 的五十分之一。以 Claude Sonnet 5 为例:输入每百万 token 2 美元,输出 10 美元,缓存读 0.20 美元。更新的型号把价差拉得更开:Claude Opus 5.5 和 GPT-6.1 Sol 的缓存读是输入价的二十分之一、输出价的一百分之一;Claude Fable 5.1 的缓存读是输出价的二百分之一。
按这些价格,简报做了一组可复算的示例:100 万 agentic token,按 87% 缓存、12% 新 prompt、1% 输出计算,成本约 0.51 美元;同样的 100 万 token 完全不走缓存,约 2.08 美元,相差约 4 倍。换算下来,缓存 token 占了近九成的 agentic token,却只贡献约三分之一的账单。
模型代际:从 54.8% 到 88.2%
缓存率的抬升也体现在不同代际的模型上。按发布季度分组,模型在 agentic 负载上的平均缓存率逐季上升:2025 年第二季度为 54.8%,其后依次是 56.0%、61.9%、71.5%、78.9%,2026 年第三季度发布的模型为 88.2%。
简报把这轮加速归功于整条技术栈:从 OpenRouter 的算法,到模型方,再到推理提供商,各自都该记上一部分功劳。它给使用者的结论是:对构建 agent 的团队,缓存率是眼下影响成本最大的杠杆之一;对模型方和提供商,缓存已不再是可选项——当缓存读占了 agentic token 的绝大多数,缓存 token 的价格与缓存命中的可靠性,构成客户实际支付的很大一部分,输入与输出的头部标价每个月都更说明不了真实成本。简报建议使用者查看每次响应里的 cached token 字段,了解自己的缓存率。
回帖追问:85% 由什么构成,账单降了多少
帖文发出后,回复里出现了几类具体的追问与提醒: 问,这 85% 主要是编码 agent,还是所有 agent 流量; 想要一组公开数字,说明中位缓存率从 44% 升到 85% 的过程中,典型 agentic 账单降了多少; 的回复是:「85% 的缓存率是输入,完成每个任务的总成本才是输出——别把两者弄混」。
简报在成本示例旁标注了边界:计算不含缓存写入溢价——部分提供商会在第一次存储 prompt 前缀时收取这笔费用。