AREX Feed Article
Artificial Analysis 将 DeepSeek V4.1 Flash 纳入 AA-AgentPerf 实测:Intelligence Index 39 超越 V4 Pro 0813,GB300 以 261M tokens/s/MW 居首
独立 AI 分析机构 Artificial Analysis 于 10 月 14 日 07:04 UTC(北京时间 15:04),将 DeepSeek V4.1 Flash 加入其 agentic(智能体式)推理性能基准 AA-AgentPerf,并给出该模型在这份基准上的首批实测,覆盖 NVIDIA 与 AMD 两类硬件。在 AA Intelligence Index 上,V4.1 Flash 得 39 分,高于 DeepSeek 更早发布的 V4 Pro 0813 的 36 分,而参数量约为后者的三分之一。
同一份帖文还给出能效座次:在每用户 100 tok/s(tokens/秒)的输出速度下,NVIDIA GB300 以约 261M tokens/s/MW 排名第一——即每兆瓦功率每秒产出约 2.61 亿 tokens(词元),输入与输出合计——B300、B200、GB200 与 AMD MI355X 依次排在后面。
AA-AgentPerf:回放真实编码会话测硬件
AA-AgentPerf 是一个硬件基准,测的是推理硬件与软件栈在 agentic 负载下的表现。与固定合成提示词的测速不同,它回放真实的 agentic 编码会话,长上下文、工具调用延迟、大量 KV 缓存(键值缓存)复用机会等 agent 工作的真实特征都在被测范围内。
Artificial Analysis 在帖文中说明了口径:一边测整机总吞吐除以运行功率得到的每兆瓦吞吐,一边测不同并发水平下单 agent 的输出速度,两者放在一起,呈现系统利用率与单用户体验之间的取舍。其写得更细:每个模拟 agent 回放一段真实的多轮编码会话,上下文逐轮累积、可以超过 100K tokens;先前轮次从 KV 缓存读取,只有新增 token 需要 prefill(预填充);持续的并发负载则考验 KV 缓存复用、投机解码和调度器。
V4.1 Flash 加入后,AA-AgentPerf 的 featured(重点收录)模型达到四个:DeepSeek V4 Pro 0813、Kimi K3、GLM-5.2/5.3 和 V4.1 Flash。AA 称 featured 名单将随热门开源权重模型的发布持续演进,重大新模型会给出发布当天即出分的 day-0 结果;基准开放提交,结果滚动发布。
AA 模型页确认分数,DeepSeek 官方公告列出架构规格
AA 的确认了 39 分这个数:V4.1 Flash 的 Intelligence Index 为 39,并被列为开源权重(open weights)模型。两代模型的对照出自帖文:V4 Pro 0813 得 36 分,参数为 1.6T 总参数、每 token 激活 49B;V4.1 Flash 为 552B backbone(骨干)参数、激活参数 16B,约为前者三分之一。
V4.1 Flash 由 DeepSeek 于 9 月发布,已上线 DeepSeek API(模型名 deepseek-flash)。按的说法,它是「新架构家族中最小的模型」,552B 参数 MoE(混合专家架构)、带原生视觉理解;对比上一代,KV 缓存只需约 1/4 的 HBM(高带宽内存)和 1/8 的 SSD 存储。官方公告认为,缓存命中费在 agent 成本中常占大头,把缓存压小能明显削减这部分开支。
新的因果 encoder-decoder(编码器-解码器)架构在官方公告与 AA 帖文中都有列出:输入每 token 激活 8B 参数、输出激活 16B。AA 的帖文还给出两项更细的构件:196B 参数的 Engram n-gram(N 元组)记忆可以驻留在主机内存而不是加速器上;压缩稀疏注意力(compressed sparse attention)让每 token 的 KV 缓存需求约为更早的 V4 Flash 模型的四分之一。
按 AA 的分析,这些设计让部署更省:权重装得进更少的 GPU,更小的 KV 缓存又给每张 GPU 腾出位置,容纳更多并发 agent。
小模型削弱机架级优势:单节点 B300 与机架级 GB300 差距约 20% 以内
在每用户 100 tok/s 处,首批实测的每兆瓦吞吐排序为:GB300 约 261M 居首,其后是 B300(约 220M)、B200(约 193M)、GB200(约 178M)和 MI355X(约 128M);图表里 H100 与 H200 的曲线明显更低。
AA 指出,机架级系统在这个模型上的优势变小了:由于 V4.1 Flash 最少 2 张 GPU 就能跑,8-GPU 的 B300 单节点在整个曲线上与机架级 GB300 NVL72 的差距保持在约 20% 以内,并且在曲线两端领先;图表左端的低并发区间,B300 的每兆瓦吞吐超过 400M tokens/s/MW。
单 agent 场景(batch size 为 1,即同一时刻只处理一个 agent)下,所有 Blackwell 系统与 MI355X 的输出速度都能达到约 600~670 tok/s,而 H100 与 H200 为 372~392 tok/s。
相比 V4 Pro 0813:每兆瓦吞吐约 1.3~6.2 倍
AA 给出的对照数字是:在同为每用户 100 tok/s 的条件下,V4.1 Flash 的每兆瓦吞吐约为 V4 Pro 0813 的 1.3 倍(GB300)到 6.2 倍(B200),倍数随硬件不同而变化。AA 的原话是,这个模型「既比 V4 Pro 0813 更聪明,服务起来也便宜得多」。
DeepSeek 自己也在收缩 V4-Pro:官方公告称,多方测试显示 V4.1-Flash 在性能、成本、速度与总运行时长上领先 V4-Pro,因此宣布逐步淘汰 V4-Pro,并称从 9 月 14 日 04:00 UTC 起,deepseek-v4-pro 的所有请求将改路由到 V4.1-Flash、按其费率计费,直到 V4.1-Pro 上线。
待解的口径问题:主机内存功耗是否计入每兆瓦
在帖文回复中, 追问:196B 的 Engram 记忆若常驻主机内存,这部分功耗是否计入每兆瓦的测量口径;若主机功耗不计入,把记忆卸载到主机会不会让 tokens/s/MW 的数字比「全部装进加速器」的模型更好看。AA 的帖文没有回答这个问题。