AREXOpen in interactive Feed

AREX Feed Article

Cerebras CTO 宣布以最高 2,000 tokens/s 服务 2.8 万亿参数开放权重模型 Kimi K3.1 Pro

November 19, 2026

北京时间 11 月 19 日凌晨 3 时(11 月 18 日 19:02,UTC),Cerebras CTO Sean Lie 在 X 上宣布:公司推理平台正在服务 Moonshot AI 的开放权重模型 Kimi K3.1 Pro,输出速度最高 2,000 tokens/s,即每秒生成 2,000 个 token(词元,模型处理文本的最小单位)。模型总参数 2.8 万亿,上下文窗口 100 万 token。

他把这组数字与公司的起点对照:两年多前 Cerebras 服务过的第一个模型 Llama 70B,只有 450 tokens/s。两个速度数字均为厂商自述,帖文未附第三方测试。

帖文怎么说:从 Llama 70B 到 Kimi K3.1 Pro

「我们在 Cerebras 服务过的第一个模型,是 450 tokens/s 的 Llama 70B。那是两年多以前的事。」Lie 在帖文里写道,「现在,我们正在以最高 2,000 tokens/s 服务 Kimi K3.1 Pro——一个 2.8 万亿参数的模型。它的参数量是 40 倍,而我们的推理速度还在继续往上走。」按 2.8 万亿对 700 亿计算,参数量恰好是 40 倍;输出速度约为当年的 4.4 倍。

他接着把落点放在开放模型上:「我为我们走到今天感到极其自豪,同样让我自豪的是,一路上我们始终对开放模型社区保持投入。我们希望开发者有更多模型可选,并且有真正能拿来构建的速度。」帖文附有一段视频;截至北京时间 11 月 19 日,它获得 252 个点赞、17,545 次浏览、18 次转发。

2024 年的上线新闻稿,附有第三方实测

「450」有公开记录可查。2024 年 8 月 27 日,Cerebras 宣布推理服务 Cerebras Inference 上线,新闻稿写明:Llama 3.1 8B 跑出 1,800 tokens/s,Llama 3.1 70B 为 450 tokens/s,按厂商说法比超大规模云里的 NVIDIA GPU 方案快 20 倍;定价为每百万 token 10 美分(8B)、60 美分(70B)。服务由 CS-3 系统与 WSE-3 晶圆级处理器驱动。

新闻稿还附了独立数据:基准机构 Artificial Analysis 的联合创始人兼 CEO Micah Hill-Smith 称,该机构实测 Llama 3.1 8B 输出高于 1,800 tokens/s、Llama 3.1 70B 高于 446 tokens/s,「创下这些基准的纪录」,并核验两款模型的质量与原生 16 位精度一致。另按新闻稿,上线当天同时提供的是 8B 与 70B 两款模型;「第一个模型」是 Lie 的表述。

权重不动:万亿参数模型怎么跑上晶圆

Cerebras 的速度来自一套「权重不动」的架构。该公司 10 月 22 日的博客解释了多万亿参数模型的部署:一片 WSE-3T 晶圆级芯片有 44 GB 片上 SRAM(静态随机存取存储器),而万亿参数模型的权重本身就是 TB 级,单片装不下。做法是把模型按网络层切开、铺到多片晶圆上:权重预先装进各片晶圆的片上内存后全程不动,片与片之间只传激活值,通过以太网 RDMA(远程直接内存访问)互连,每跳约 2 微秒。整条流水线上,每片晶圆在同一时刻处理不同请求;并发请求数的上限,取决于稠密层晶圆上留给 KV 缓存(键值缓存)的片上内存。

博客用 Kimi K3 做了一笔示例账:按 4-bit 存储,约 3 万亿参数的权重约 1.5 TB,摊到 93 层、每层约 16 GB;44 GB 的晶圆每片放两个线性注意力层,或放一个稠密层再留约 28 GB 给 KV 缓存,合计 59 片晶圆,可跑到「1,000~2,000+ tokens/s」。

59 片晶圆是博客对 Kimi K3 的示例计算,不是 K3.1 Pro 的部署配置;博客没有给出 K3.1 Pro 实际用了多少晶圆。模型卡显示,K3.1 Pro 是 Moonshot AI「迄今最强的 3T 级」开放权重、原生多模态智能体模型,由 Kimi K3 后训练而来,是 K3.1 系列第一款;MoE(混合专家)架构,总参数 2.8 万亿、每个 token 激活 1,040 亿,权重经量化感知训练压到 MXFP4(4-bit 浮点格式)精度。相对 K3,它把 24 个全注意力层换成了 Gated DSA(Gated DeepSeek Sparse Attention,门控稀疏注意力)层,以更高效地建模长上下文。Kimi 官方账号 11 月 4 日宣布放出权重,模型卡页面目前显示 33,617 次下载、1,916 个赞。

公开目录上还没有 K3.1 Pro

K3.1 Pro 在 Cerebras 平台上的服务通道,帖文没有写明。第三方技术博客 yage.ai 10 月 26 日刊文指出,截至 10 月 25 日,Cerebras 公开共享推理目录只列出 gpt-oss-120b 和 qwen-3.8-27b 两款模型,同门的 Kimi K3 只出现在企业专用(dedicated)目录,客户需预留容量、开通组织专属端点才能使用;yage 同时写道,Cerebras 未官方解释目录划分。该媒体的分析是:几十片晶圆串成流水线、权重常驻片上后,这条「产线」难以拆进共享池按量零售,整块租给企业才符合经济性。

宣布前的两周里,Cerebras 已两度公开演示 K3.1 系列。11 月 6 日,官方 YouTube 频道发布 36 秒视频 Running Kimi K3.1 at 2,000 Tokens/Sec,描述称 Moonshot AI 的 Kimi K3.1 在其推理平台跑到 2,000 tokens/s;11 月 11 日,Cerebras 官方账号发帖,用 Kimi K3.1 Pro「速通」在线购物:一条提示词完成找到显示器、结账、下单,Kimi 官方账号转发了这条演示。

截至发稿(11 月 19 日),Cerebras 公开目录仍只有上述两款模型,页面标注速度为 gpt-oss-120b 约 3,000 tokens/s、qwen-3.8-27b 约 1,850 tokens/s,并注明更多模型家族走 Dedicated Endpoints(企业专用端点),后者提供预留容量、更高吞吐与生产级服务等级协议(SLA)。回复区里,Curline Zephirin 直接问「只对企业开放吗?」(Enterprise only?)。

Kimi 自己的服务里,速度同样是一个单独档位:10 月 23 日 Moonshot 发布 K3.1 Pro 当天,官方帖文宣布输出速度快 2~3 倍的 K3.1 Pro Highspeed 变体已在 kimi.com、Kimi Work、Kimi Code 和 Kimi API 上线;按 yage 引用的 Kimi 官方文档,Highspeed 与标准版能力相同,配额消耗约为标准版的 2 倍。

独立实测还停在 5 月的 Kimi K2.6

目前支撑 2,000 tokens/s 的公开材料都出自 Cerebras 一方:官方频道的演示视频、Lie 的帖文,以及 10 月博客对多万亿参数模型给出的速度区间。就同系列的 Kimi K3,yage 在 10 月 26 日已指出:公开渠道尚无第三方基准,博客的速度区间也没有说明是否来自实测、如何测得。

目前能查到的最接近数据点停留在今年 5 月:按 yage 的转述,Artificial Analysis 当时在私有 Cerebras 端点上测的是更早的 Kimi K2.6,输出 981 tokens/s;同一个约 1 万 token 输入、最终输出 500 token 的请求用时 5.6 秒,而 Kimi 官方端点要 163.7 秒,Cerebras 5 月的企业服务公告引用了这批数字。模型更旧,这些结果也不能直接当作 K3.1 Pro 的成绩。

输出速度之外还有现实折扣。yage 9 月实测 Cerebras 托管的 Qwen 27B:纯输出中位数 1,040 tokens/s,但真实编码任务里提示词往往是输出的 100~600 倍,计入首 token 等待后,有效速度降到 357 tokens/s;读写文件、执行 shell 这类工具调用,更与输出速度无关。

回复区的追问集中在实现层面:程序员 Robert Piosik 问,没有 prompt cache(提示词缓存)是不是为速度付出的设计代价;Emilio Schwaiger 则直言「2,000 看着就不真实??」。

这则帖文里最关键的两组数字,可核对的程度并不相同:2.8 万亿参数在 Hugging Face 的模型卡上就能对上;2,000 tokens/s 的独立复测,截至发稿还没有出现。

参考链接

  • Sean Lie 的 X 账号(简介标注 CTO @Cerebras):https://x.com/seanlie
  • Sean Lie 宣布服务 Kimi K3.1 Pro 的帖文(2026-11-18):https://twitter.com/seanlie/status/2123129836277551288
  • moonshotai/Kimi-K3.1-Pro 模型卡(Hugging Face):https://huggingface.co/moonshotai/Kimi-K3.1-Pro
  • Kimi.ai 发布 K3.1 Pro 的帖文(2026-10-23):https://twitter.com/Kimi_Moonshot/status/2113680701770068067
  • Kimi.ai 公布模型权重的帖文(2026-11-04):https://twitter.com/Kimi_Moonshot/status/2118010528123773297
  • Kimi.ai 转发 Cerebras 购物演示(2026-11-11):https://twitter.com/Kimi_Moonshot/status/2120431830407196700
  • Cerebras Inference 上线新闻稿(2024-08-27):https://www.cerebras.ai/press-release/cerebras-launches-the-worlds-fastest-ai-inference
  • Cerebras 博客:多万亿参数模型的部署方式(2026-10-22):https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
  • yage.ai:Cerebras 为何快,Kimi K3 为何不在其公开 API(2026-10-26):https://yage.ai/share/cerebras-k3-public-api-en-20261026.html
  • Cerebras 官方 YouTube 演示:Running Kimi K3.1 at 2,000 Tokens/Sec(2026-11-06):https://www.youtube.com/watch?v=c4rM9_MieE8
  • Cerebras 推理模型目录(2026-11-19 查询):https://inference-docs.cerebras.ai/models/overview
  • Curline Zephirin 询问服务通道的回复(2026-11-18):https://twitter.com/Curline1222/status/2123172153554014541
  • Robert Piosik 关于 prompt cache 的回复(2026-11-18):https://twitter.com/robertpiosik/status/2123131525533245879
  • Emilio Schwaiger 的回复(2026-11-18):https://twitter.com/EmilioSchwaiger/status/2123144652446470234