Rapid-MLX 公布 Inkling 2 Mini 实测数据:M5 Max 单流 43 tok/s、峰值内存 23GB
2026 年 11 月 21 日,Apple silicon 本地推理引擎 Rapid-MLX 的 @rapidmlx 账号发帖,给出 Thinking Machines Lab 的开放权重 MoE(混合专家)模型 Inkling 2 Mini 在一台 M5 Max、36GB 内存 Mac 上的运行数字:4-bit 精度下单流 43 tok/s,8 个并行请求合计 80 tok/s,峰值内存 23GB。帖文附了一段 11 秒视频,称模型在 Mac 上完成思考、调用工具和作答,画面「实时、未加速」。
Thinking Machines 在 11 月 20 日的发布材料里,解码速度是理论上限:博客按 614 GB/s 带宽、BF16 权重、批大小 1 估算速度;模型卡把 Apple silicon 的门槛定在 32GB 内存;公开演示用的是一台 M5 Pro、48GB 的 MacBook Pro,在飞行模式下离线搭出一个飞行模拟器。Rapid-MLX 这组数字在发布后不到一天出现,给官方「小到可以在笔记本上运行」的说法补上了一个第三方数据点。
测试条件只有三项,测量口径没有写
帖文交代的条件是 M5 Max、36GB 内存、4-bit 精度,运行环境是 Rapid-MLX 1.1.0。帖文称 Rapid-MLX 是免费、开源的 Apple silicon 本地引擎和桌面应用;项目仓库把它描述为基于 MLX、兼容 OpenAI 与 Anthropic 接口的推理服务器,以 Apache-2.0 发布。帖文描述的场景包含工具调用,不只是纯文本生成。
数字没有配套的测量说明。这三个数都是 Rapid-MLX 自报的。帖文没有给出测量日志、提示词、上下文长度或生成 token 数,也没有说明 43 tok/s 是整段生成的平均值还是解码阶段的速率。「23GB 峰值内存」同样没有交代统计范围:进程占用、MLX 的活跃显存、整机内存,三者不是一回事。
Rapid-MLX 不是 Inkling 2 Mini 的模型厂商,但它测的是自家引擎。这组数据不能当成对 Rapid-MLX 引擎的独立评测。
8 路并行的代价:平均每条流约 10 tok/s
单流 43 tok/s,8 路合计 80 tok/s,总吞吐约为单流的 1.86 倍;按 8 条流均分,每条平均约 10 tok/s,不到单流数字的四分之一。对同时跑多个 agent(智能体)的人来说,代价就落在每条流上。
帖文没有给出逐条流的速率,10 tok/s 是除法结果,不是直接测量值。
Inkling 2 Mini 的结构让「26.4B 总参数、3.4B 激活」不能直接换算成解码速度。它是 24 层的循环变压器,中间 12 层对每个 token 跑三遍;官方博客写明,这相当于每个 token 要经过 48 次层运算,每 token 的有效激活参数为 5.4B,高于标称的 3.4B。帖文没有在同一台 Mac 上跑对照模型,43 tok/s 在帖文里没有参照物。
检查点、GGUF 和运行峰值不能直接相减
官方说,权重以 NVFP4 为主、最后四层为 MXFP8,检查点约 20GB;Apple silicon 需要 32GB 或更多内存,发布时通过 Ollama 支持 32GB 及以上的 Mac。Rapid-MLX 测的是 4-bit 版本;23GB 是运行中的峰值占用,不是文件体积。
Unsloth 在发布当天给出了另一个数字。@UnslothAI 的帖文称 Inkling 2 Mini 是「可在 16GB 内存运行的最强 26.4B 模型」,并提供 GGUF 版本;它的运行指南列出的内存需求是 1-bit 约 9GB、2-bit 10~11GB、3-bit 13~15GB、4-bit 17~18GB、8-bit 24GB。16GB 那一档对应低比特量化,和官方检查点、Rapid-MLX 这次跑的 4-bit 都不是一回事。
20GB、17~18GB、23GB 放在一起并不矛盾:20GB 是检查点体积,17~18GB 是 4-bit GGUF 的内存需求,23GB 是 4-bit 运行的峰值。Rapid-MLX 基于 MLX,Unsloth 走 GGUF 与 llama.cpp,两边的 4-bit 不是同一套量化,不能直接相减。这次测的配置峰值 23GB,已经高于 16GB 整机内存;按这个峰值算,36GB 内存里剩下约 13GB 余量。
32GB 这一档还没有数字
这次测量只落在 36GB 机器上。按 23GB 峰值做同样的算术,32GB 机器只剩约 9GB 留给 macOS 和其他应用;这是推算,不是测量。要把「32GB 笔记本跑 agent」从官方门槛变成实测结论,还缺一台 32GB 机器上的三个数:峰值内存、单流 tok/s、8 路合计 tok/s。