AREX Feed Article
SemiAnalysis 称 AMD 团队以软件优化在 Kimi K3 agentic 推理上实现最高 2 倍于 B200 的性能/美元
北京时间 11 月 1 日凌晨（10 月 31 日 19:03 UTC），半导体研究机构 SemiAnalysis 在 X 上发帖称，AMD 的 Anush Elangovan 及其团队在 Kimi K3 agentic 推理上取得了较 NVIDIA B200 最高 2 倍（2x）的性能/美元（performance per dollar），并将结果归因于一系列软件优化工作，其中包括调优 AITER 内核与 MonoKernel decode；帖文同时致谢了 Anush、Peng Sun、Ramine、Emad 与 vLLM 团队（）。
帖文给出的硬件层解释是：AMD Instinct MI355X 每台服务器提供 2,304GB 高带宽内存（HBM），推理因此不必跨服务器穿越 8×400Gbit/s 的慢速横向扩展（scale-out）网络，而 SemiAnalysis 称 B200 因每台不足 1.5TB HBM 只能这样做。在其自家的 InferenceX 基准对照页上，B200 与 MI355X 在 Kimi K3 2.8T 上的三个速度档成本差约为 1.9～2.3 倍，是这组说法的数据依据（）。
对照页上，差距最大的是 100 tok/s/user 这一档
InferenceX 的 B200 vs MI355X 对照页默认显示 Kimi K3 2.8T、AgentX（回放真实编码 agent 会话的测试场景）agentic-traces、FP4（4 位浮点）精度的组合，页面注明数字“由真实基准数据插值得来”。三个交互速度档上（每用户每秒 token 数，tok/s/user）：57 档 B200 为 5,372 tok/s/chip（每芯片每秒 token 数）、每百万 token（词元）0.089 美元，MI355X 为 9,014、0.046 美元，成本差约 1.9 倍；100 档 B200 为 2,677、0.179 美元，MI355X 为 5,436、0.077 美元，成本差约 2.3 倍；144 档 B200 为 1,751、0.275 美元，MI355X 为 2,854、0.146 美元，差距回落到约 1.9 倍。每兆瓦 token 数（tok/s/MW）上 MI355X 同样领先，100 档为 2,600,857 对 1,565,781（）。
帖文发出 28 分钟后，FourWeekMBA 对这组数字做了独立换算，结论是差距介于约 1.9～2.3 倍：中间档 MI355X 每芯片吞吐约为 B200 的 2.0 倍，而 B200 芯片时价约高 15%（1.73 美元对 1.50 美元，出自 SemiAnalysis 2026 年 7 月的价格调查），按其算式 2.0 × 1.15 ≈ 2.3，成本差主要来自吞吐而非芯片价格（）。该文还引用同一仪表盘的 B300 对照：109 tok/s/user 下 B300 每百万 token 0.166 美元，MI355X 为 0.093 美元，B300 芯片时价 2.26 美元。
AITER 与 MonoKernel：帖文点名的两项软件工作
AITER（AI Tensor Engine for ROCm）是 AMD 为其 GPU 计算软件栈 ROCm 维护的内核库，GitHub 仓库称其为 AMD GPU 上 LLM 推理的默认内核后端；AMD ROCm 文档说明它为 Instinct MI350 系列及 MI300X/MI325X 在开源推理框架 vLLM 的 V1 版本中提供融合内核（、）。“调优 AITER 内核”在这次结果里的具体内容，帖文没有展开，但同一套硬件上此前的一次修复可以说明这类工作的效果有多大：vLLM PR #35850 于 3 月 6 日合并、随 vLLM 0.18 发布，修好了张量并行 TP=8 配置下 AITER MLA（Multi-head Latent Attention，多头潜在注意力）内核的派发路径——把 8 个注意力头补零到 16 以复用现有 ASM 内核、放宽头数断言、在 FP8（8 位浮点）KV 缓存时从 TritonMLA 自动回落到 AITER——25 天内把 MI355X 上 Kimi K2.5 MXFP4 精度下的表现从 6.6 tok/s/user 提到 78.9（同并发 12.0 倍），峰值吞吐 7.7 倍；在相同每 GPU 吞吐的口径下，用户侧速度最高提升 15.6 倍（）。
MonoKernel decode 的具体实现，帖文同样没有说明。公开文献里可以找到同类思路的参照：Amazon AGI 团队 8 月 19 日发布在 arXiv 的 MonoMoE 论文，把混合专家（MoE）模型解码一步的路由、top-k 选择、量化、两次专家投影、激活和归并全部折进一个常驻（persistent）内核单次启动，在 H200 上比 vLLM 的 Triton Grouped GEMM 最高快 1.54 倍（）。该工作跑在 NVIDIA 硬件上，只能说明“monokernel”这一类做法是什么；帖文所称的 MonoKernel decode 是否同一思路，现有材料无法确认。
帖文把 vLLM 团队列入致谢名单。SemiAnalysis 8 月的一篇帖子曾提醒：ATOM 是 AMD 当前性能最好的推理引擎，但对使用上游开源服务栈的客户而言，vLLM 才是可比的基准，“只存在于厂商运行时里的曲线，描述不了这些客户真正能部署的东西”（）。
2,304GB 单机内存：免走跨服务器网络路径的机制
InferenceX 芯片页列出的 MI355X 关键参数：单芯片 288GB 可用 HBM3e、8TB/s 带宽，8 卡全互关节点合计 2,304GB，热设计功耗（TDP）1,400W，大客户持有价 1.50 美元/芯片/小时——后者出自 SemiAnalysis 的 AI Cloud TCO（总拥有成本）模型（）。帖文的机制解释建立在这个数字上：模型与 KV（键值）缓存装进一台服务器，推理就不必跨服务器走 8×400Gbit/s 的 scale-out 网络；SemiAnalysis 称 B200 每台不足 1.5TB HBM，因此必须跨网。B200 的内存数字目前出自帖文单方陈述。
AgentX 场景的设定放大了内存的作用。对照页解释说，AgentX 回放真实编码 agent 会话而非定长提示，上下文逐轮增长，每个请求的大部分 token 命中缓存而非重算，节点间 KV 传输、前缀感知路由和缓存容量都同芯片吞吐一起决定曲线位置（）。在这样的负载里，单机装得下多少内存，直接决定要不要为跨节点传输付出延迟与成本。
Kimi K3：今年 7 月发布的 2.8 万亿参数开放权重模型
Kimi K3 是月之暗面（Moonshot AI）今年 7 月中旬发布的 2.8 万亿（2.8T）参数开放权重模型，路透社当时报道称其为全球最大的开放权重 AI 模型（）。它已成为 InferenceX 上新的对标场景：8 月 25 日 SemiAnalysis 发布 Kimi K3 的 AgentX 分析，称在 40～60 秒端到端延迟区间，MI355X ATOM 在性能/美元上胜过 GB300 NVL72 的 vLLM 配置；同一帖指出 Hopper 平台缺席是因为 K3 还没有对应的定制内核（需要 TP32、EP32 调优形状，两者都不存在）——“硬件不是约束，真正缺的是肯在这上面下功夫的人”。InferenceX 芯片页把 MI355X 列为其追踪最密集的 AMD 芯片，并已列出 DeepSeek V4 Pro、GLM-5 等多组 MI355X 对 B200 的对比帖。
单方口径：自家的基准、自家的价格假设
这组数字的每个环节——跑分、插值、芯片价格——目前都出自 SemiAnalysis 自己：跑分与插值来自 InferenceX 页面，每百万 token 成本按其 AI Cloud TCO 模型的持有价换算。FourWeekMBA 在文末注明：数字读取于 10 月 31 日，比率是其自行计算，且“我们没有联系 AMD、Nvidia 或 SemiAnalysis”（）。
价格假设是这类性能/美元结论的敏感输入。8 月 wafer.ai 发布 MI355X 与 B300/B200 的 Kimi K3 对比后，Hacker News 上有评论直接指出其 2.50 美元/GPU 小时的 MI355X 租价“不是符合真实市场的价格对比”，有人贴出 2.95 美元/小时的市场挂牌价，也有人质疑单机 8 卡对比忽略了真实的 PD 分离（prefill 与 decode 分节点）部署（）。这些批评针对的是另一家机构的帖子，但问题相同：分母取哪个价格，结论就差多少。
截至发稿，本文能核查到的公开讨论仍限于对 InferenceX 页面的转述与换算，未见到对这组 2 倍数字的独立测试；帖文也没有给出完整的测试配置与负载细节。