AREX Feed Article
Artificial Analysis 实测：DeepSeek V4.1 Flash 在 GB300 NVL72 上单 agent 速度月内从 596 升至 848 tok/s，最高提升 1.5 倍
独立评测机构 Artificial Analysis 在 2026 年 11 月 6 日 20:33（UTC，北京时间 11 月 7 日凌晨 4 时 33 分）通过官方 X 账号 @ArtificialAnlys 公布了一组自家基准的实测数字：在 AA-AgentPerf——AA 运营、回放真实 agentic（智能体式）编码负载的数据中心推理基准——上，DeepSeek V4.1 Flash 在 GB300 NVL72（）上的服务速度一个月内每 agent 最高提升 1.5 倍。单 agent 输出速度从 596 tok/s 升至 848 tok/s，即 1.42 倍；在约 80 tok/s/agent 的服务水平下，每 GPU 总吞吐约为原先的 1.6 倍。这些数字出自 AA 自己的测量，不是 DeepSeek 或 NVIDIA 的自报口径。
帖子附图把两次测量分别标注为 GB300 before (8 Oct) 与 GB300 now (28 Oct)：同一套 GB300 NVL72，前后相隔 20 天。AA 把差距全部归到服务软件栈，列出六项改动，从新版 vLLM 一直到调优后的投机解码。
附图拆读：两条曲线怎么读
这张图的横轴是 p25（第 25 百分位）输出速度，按请求统计，对应帖文里说的 "tok/s per agent"；纵轴是每加速器总吞吐，即输入加输出 token 每秒之和，其中输入 token 含 KV cache（键值缓存）命中部分，输出速度不含 TTFT（time to first token，首 token 等待时间）。图表标题标注 "DeepSeek V4.1 Flash (max)"，按模型最高推理档测试。
内嵌放大框给出两组关键读数：单 agent 从 596 tok/s 升至 848 tok/s（1.42 倍）；2 个并发 agent 从 517 tok/s 升至 776 tok/s（1.50 倍）——帖文里「最高 1.5 倍」对应的正是后一个点。同速下的吞吐差距也一样清晰：在 82 tok/s/agent 处，每加速器总吞吐从 284k tok/s 涨到 458k tok/s，图上标为 1.6 倍；在 220 tok/s/agent 处，从 95k 涨到 158k，图上标为 1.7 倍。从曲线走势看，两条线的绝对差距向图右侧（越接近单 agent 一端）逐渐收窄。
六项软件改动，硬件没有动
AA 在帖文里把提升逐项归到六处：更新版 vLLM；为 DeepSeek V4.1 在 GB300 上新写的 vLLM 内核；FlashInfer 自动调优；更完整的 CUDA graph 覆盖；调优后的投机解码；以及在 NVIDIA 更新后的 Dynamo + vLLM 部署里，让 prefill（预填充）与 decode（解码）跑在同一批 GPU 上。
这份清单里没有出现任何硬件。最后一项还与不少推理栈此前转向的 prefill/decode 分离部署方向相反：分离部署在 AA-AgentPerf 里本来就是被允许的优化选项，AA 这次却让两种计算跑在同一批 GPU 上。投机解码一项指的是服务端调优，具体调了什么，AA 没有展开。
AA-AgentPerf 怎么测：真实轨迹加固定服务等级
AA-AgentPerf 在 2026 年 6 月 12 日发布首批结果，当时测的是 DeepSeek V4 Pro 在 NVIDIA 与 AMD 系统上的表现；说，这个基准要回答的问题是：一台系统在用户体验可接受的前提下，到底能服务多少个并发 agent。
负载不是合成请求。按 ，每个模拟 agent 回放一段真实编码轨迹：轨迹由 DeepSeek V3.2、GLM 4.7 与 Kimi K2.5 三个开源模型在 OpenCode 代理框架里生成，任务是修复公开代码仓库中的 issue；输入序列长度在 5,000～131,000 token 之间、平均约 27,000 token；输出各轮长短不一，短则一条工具调用，长则大段推理；工具调用之间按真实时长分布插入延迟，中位数约 1 秒；覆盖 12 种以上编程语言。完整测试集保密，参与者只拿到 500 条轨迹、18,997 条 prompt 组成的调优子集，以防针对基准做定向优化。
测量方式是先按 AA 无服务器 API 基准数据划定 SLO（service level objective，服务等级目标）档位，固定每 agent 的速度与 TTFT 要求，再用指数爬坡加二分搜索，找出该档位下系统还能撑住的最大并发 agent 数；速度按请求级 p25 输出速度统计。与旧式硬件基准不同，AA-AgentPerf 允许 KV cache 复用、投机解码、prefill/decode 分离这些生产优化——AA 的说法是，把这些优化关掉，测出来的是「没人真会部署的配置」。结果经两条路径上榜：厂商提交配置、由 AA 运行并验证，或 AA 在没有厂商提交时自建配置；里逐条列出了每个已公布结果的完整部署参数和提交方。
AA 也给过提醒：这类数字是快速移动前沿上的快照，随着厂商继续提交配置，读数还会上行；AA 在 6 月的文章里就写过，自 DeepSeek V4 Pro 发布以来，它的服务配置几乎每天都在改进。各项结果在 滚动更新。
被测模型：9 月发布的 V4.1 Flash，把 KV cache 压到 890 字节/token
V4.1 Flash 是 DeepSeek 于 2026 年 9 月 10 日发布的模型：552B backbone 参数的 MoE（mixture-of-experts，混合专家）模型，采用新的 CED（causal encoder-decoder，因果编码器-解码器）架构，prefill 时每 token 激活 8B 参数、decode 时激活 16B，上下文最长 100 万 token，原生支持图文输入（）。
它的主打点是 KV cache 压缩：模型卡给出的全局 KV cache 为 890 字节/token，约为上一代 DeepSeek-V4-Flash 的四分之一；的说法是，HBM 占用为上代的 1/4、SSD 存储为上代的 1/8，而缓存命中费用在 agent 成本里往往占大头。模型卡还列出了内置的 DSpark 投机解码（半自回归草稿生成加置信度调度验证）——在 NVIDIA 提交的部署配置里，这个机制被设为 6 个草稿 token，见下节。DeepSeek 同时宣布，从 9 月 14 日 04:00（UTC）起，所有 deepseek-v4-pro 请求都路由到 V4.1 Flash、按 V4.1 Flash 价格计费，直到 V4.1 Pro 上线。
同帖串补充：NVIDIA 提交的 Vera Rubin NVL72，单 agent 1,249 tok/s
主帖发出一秒后（20:33:48 UTC），AA 在补了一条：NVIDIA 还提交了更新版 Vera Rubin NVL72（NVIDIA 下一代机架平台）配置，对比对象正是提速后的 GB300。结果为：在 260 tok/s/agent 的服务水平下，Vera Rubin 每 GPU 吞吐达 GB300 的 5.0 倍（图注：669k 对 133k tok/s per GPU）；在 80 tok/s/agent 下为 1.7 倍（805k 对 469k）；单 agent 速度 1,249 tok/s，GB300 为 848 tok/s（1.47 倍）。
里这份 Vera Rubin 配置的提交方一栏写着 NVIDIA：Dynamo 1.6.0.dev20261014 加 vLLM，prefill/decode 分离部署，72 块 GPU 只启用 14 块（prefill 3 组 × 2 块、decode 8 块），DSpark 投机解码设 6 个草稿 token，MoE 内核用 DeepGEMM MegaMoE，精度为 MXFP4（4-bit 浮点格式），KV 经 NIXL 传输，decode 的 SM 时钟锁定在 1,950 MHz。
两份配置摆在一起，差别不只是代际：GB300 的新部署把 prefill 和 decode 放回同一批 GPU，Vera Rubin 这份反而是分离式部署。两种拓扑在这次对比里各出现一次，AA 没有单独拆出拓扑本身的贡献。
评论区在问：功劳怎么分、结论能不能外推
主帖下的讨论集中在两件事。
一是功劳怎么分。Jerry Liu（@tfmlab）：「同一批 GB300，光靠软件就有 1.42 倍——这是头条：一个月里硬件没有变。」他接着提了两个想被拆开的问题：投机解码贡献了多少——agentic 编码产生的文本可预测性强、草稿接受率高，这部分收益未必能推广到聊天负载；以及为什么 prefill 与 decode 同 GPU 混部这次胜过了许多栈已经转向的分离部署。
二是口径。Chahat Sharma ，1.6 倍的每 GPU 吞吐是否在与上月相同的并发下测得，并顺手验算了 848 ÷ 596 ≈ 1.42 倍。中文用户 wen hou 则「丝毫不提 DeepSeek 自己的优化」——AA 的六项归因确实全部落在 vLLM、FlashInfer、Dynamo 这类基础设施组件上，清单里没有出现 DeepSeek 自家优化的名字。
AA 的帖文列出了六项来源，但没有逐项量化各自的贡献；上面这些追问，帖文里也还没有答案。