AREXOpen in interactive Feed

AREX Feed Article

Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5 tok/s

November 21, 2026

Inkling 2 Mini 开放权重释出次日,两份针对 NVIDIA 显卡的独立实测在 11 月 21 日先后贴出:一份针对现成 llama.cpp 测得慢速并定位原因,另一份给出自研引擎的加速结果。日本开发者 orenoa(@orenoa7)在 RTX 5090 实测帖中写道,这个模型并没有出现「因为是 MoE 所以爆速」的情况:256K 输入下,解码只有 43~57 tok/s,约为同尺寸 Gemma 4 26B-A4B 的 32%,与稠密的 Qwen3.8 27B 相当。约 5 个小时后,开发者 Alexey Fateev(@superalesha)在另一条帖子里发布了自建 CUDA 引擎 maya-ik2 的成绩:单张 RTX 3090 上解码 129.5 tok/s,较 llama.cpp 快 2.3 倍,GSM8K 质量对照为 74/96 对 73/96,代码已在 GitHub 公开。两份数据均为作者自报,尚无第三方复核。

Inkling 2 Mini 是 Thinking Machines Lab 于 11 月 20 日发布的开放权重 MoE(Mixture-of-Experts,混合专家)模型:总参数 26.4B、每 token 激活 3.4B,采用循环变压器(looped transformer)架构,中间层每个 token 循环执行三次,多数权重以 NVFP4 原生训练与部署,官方称总内存占用约 20 GB、可在消费级笔记本上离线运行(发布博客)。博客里用于对比的解码速度是按 614 GB/s 理论带宽推算的上限(BF16 权重、batch size 1、计入循环重复读取),并非实测。11 月 21 日,Rapid-MLX 也给出了 Mac 侧实测:M5 Max 36GB、4-bit 量化下单流 43 tok/s、峰值内存 23 GB(推文)。

RTX 5090 实测:现成 llama.cpp 只跑出 Gemma 的三成解码速度

orenoa7 的测试条件列得完整:RTX 5090 32GB(400W),Inkling 2 Mini、Gemma 4 26B-A4B、Qwen3.8 27B 三款模型都用 Unsloth 的 GGUF 量化(Inkling 为 UD-Q4_K_XL,17.6 GB),推理引擎是自行编译、加入 Inkling 支持的 llama.cpp(unsloth 版 b12588),上下文设 262,144,输出 1,024 token,greedy(贪心)解码、关闭思考模式,草稿模型(draft)全开:Inkling 用官方 dspark,Gemma 与 Qwen 用 MTP(多 token 预测),每个测试点取 5 次运行的中位数。

在约 25 万 token 输入下,Inkling 2 Mini 的 prefill(对输入的预填充处理)为 1,630 tok/s,prose(普通文本)解码 43 tok/s、code(代码)解码 57 tok/s。同样条件下,Gemma 4 26B-A4B 为 prefill 3,348、prose 137、code 176,Inkling 2 Mini 分别只有它的 49%、32%、32%;稠密的 Qwen3.8 27B 为 prefill 1,353、prose 52、code 69,Inkling 2 Mini 为其 120%、82%、82%。他同时提醒,这次是让模型在 llama.cpp 里原样运行,「优化之后应该还有改进余地」,RTX 3060 12GB 与 DGX Spark 上的实测仍在进行。

nsys 剖出的瓶颈:每 token 约 7,370 次内核调用,attention 之外占去 prefill 八成

orenoa7 用 NVIDIA 的 nsys 性能分析器追问慢的原因。Inkling 2 Mini 共 24 层,中央 12 层(第 6~17 层)每个 token 各循环 3 次,全模型每 token 计 48 次层访问;名义激活 3.4B,计入循环后每 token 权重激活 5.4B,与官方博客的口径一致。解码阶段的直接代价是内核调用次数:Inkling 每 token 约 7,370 次,约为 Gemma(约 1,260 次)的 6 倍。

Prefill 侧的原因不同:Inkling 存在 Gemma 没有的非量化矩阵运算,他还推测有 attention 参照表从 CPU 向 GPU 传输。对 256K prefill 的耗时拆解显示,Gemma 的处理时间里 attention 约占八成,Inkling 的 attention 只占约两成,其余全是 attention 之外的开销。这也解释了两组曲线的不同形状:输入从 8K 加到 256K,Gemma 的 prefill 从约 10,900 掉到 3,348 tok/s(降 69%),Inkling 只从约 2,080 缓降到 1,630(降 22%),衰减更平缓,但起点就低。

maya-ik2:把 7,350 次内核启动压进单个 CUDA 图

superalesha 对慢因的诊断与 orenoa7 的测量对得上:llama.cpp 在他的 RTX 3090 上每 token 发起约 7,350 次内核启动,一半以上的解码时间耗在 1~2 微秒的胶水算子上,模型只以 57 tok/s「爬行」。这个数字与 orenoa7 在 RTX 5090 上测得的约 7,370 次几乎一致,两份独立测量从两个方向指向同一瓶颈。

maya-ik2(基于 @PeasantSmith 的 Project Maya 构建)的主要改动有三项:3,072 个专家全部常驻显存(共 14.7 GiB),回答期间不再从内存或磁盘读取;整段计算重放进单个 CUDA 图(CUDA Graph),把每 token 约 7,350 次启动压到 781 次(README 当前写作 757 次);自写 Tensor Core 内核,FP8 KV(键值缓存)attention 达 776 GB/s,NVFP4 专家内核在寄存器里把 4-bit 权重即时解包成 FP16、喂给 FP16 Tensor Core(745 GB/s),因为 RTX 3090 没有 FP4 硬件。BF16 视觉编码器挪到 CPU(处理新图像 4.5 秒、缓存命中 0.5 秒),腾出的 1.3 GB 显存换来 344K 上下文容量。

他的成绩单:短上下文解码 128.7 tok/s(HTTP 服务口径 129.5)对 llama.cpp 的 57.0;4K 输入解码 124.2、prefill 2,742 对 1,052;64K 时 105.6、prefill 2,361,llama.cpp 为 42.7 与 630,prefill 差距在此拉到 3.7 倍;128K 时 90.6、2,079;上下文加到 340K 仍有 62.3 tok/s,峰值显存 23.57 GiB。仓库 README 另给出官方 3 层 DSpark 草稿模型的投机解码成绩:文档编辑场景最高 212 tok/s。限制也写在明处:一次只服务一个请求;引擎只读 UD-Q4_K_XL 量化;48 次层访问中有 8 次要对全前缀做 attention,解码速度随上下文加深而下降。

质量对照已给出,第三方复核还没有

「零质量损失」是 superalesha 的口径,依据是他贴出的对照:96 道 GSM8K 题 greedy 解码,maya-ik2 得 74/96,标量路径 73/96,KL 散度 5.7e-5。README 补充了另外两层:带草稿模型时 77/96,作者称属噪声级差异;对仓库内置的 float64 参考实现,47 个采样位置中有 45~46 个位置的首选 token 一致,而参考实现与 llama.cpp 在 47 个位置上全部一致。

可复现工件已经就位:仓库以 MIT 许可公开,README 声称指南里存有每次内核启动与运行日志,目前已获 49 个 star;作者表示仍在清理提交,这版量化还有冲到约 135 tok/s 的空间。截至发稿,orenoa7 的帖子获 148 个点赞,superalesha 的帖子获 549 个点赞、480 次收藏。orenoa7 的 RTX 3060 12GB 与 DGX Spark 实测仍在进行。

参考链接

  • orenoa7 的 RTX 5090 实测帖
  • superalesha 的 maya-ik2 发布帖
  • maya-inkling-mini GitHub 仓库
  • Thinking Machines Lab《Introducing Inkling 2 Mini》
  • Rapid-MLX 的 M5 Max 实测帖

More from this developing story

  • Thinking Machines Lab 发布开放权重 MoE 模型 Inkling 2 Mini:中间层每 token 循环三次,官方称约 20GB 权重可在消费级笔记本离线运行Nov 21, 2026
  • Rapid-MLX 公布 Inkling 2 Mini 实测数据:M5 Max 单流 43 tok/s、峰值内存 23GBNov 21, 2026
  • Inkling 2 Mini 的 GPU 实测出炉:llama.cpp 解码只有 Gemma 三成速度,开发者自研引擎把单张 RTX 3090 推到 129.5 tok/sNov 21, 2026
  • Parallel 发布评测:Inkling 2 Mini 成其所测最高效模型,开放权重智能第一、每正确答案成本 25.80 美元Nov 22, 2026