Thinking Machines Lab 发布开放权重 MoE 模型 Inkling 2 Mini:中间层每 token 循环三次,官方称约 20GB 权重可在消费级笔记本离线运行
2026 年 11 月 20 日,Thinking Machines Lab 发布开放权重的混合专家(Mixture-of-Experts,MoE)模型 Inkling 2 Mini,把「循环变压器」(looped transformer)做成了可下载的检查点:模型共 24 层,中间 12 层对每个 token 用同一份权重连跑三遍,每个 token 因此经过 48 次层访问;总参数 26.4B、激活 3.4B,计入三次循环后每 token 实际读写的权重激活量为 5.4B。据其发布博客,权重以 4 位 NVFP4 浮点精度原生训练并部署、最后四层为 8 位 MXFP8,整个检查点约 20GB;公司称模型能在消费级笔记本上离线运行,并附上研究人员在 MacBook Pro(M5 Pro,48GB)飞行模式下、几分钟内让它写出一个可玩飞行模拟器的录像。
成绩口径目前来自发布方:Inkling 2 Mini 在智能体编码(agentic coding)基准 DeepSWE v1.1 上拿到 48.2%,在 Vals Index v2.2 上拿到 46.5%,官方称两项均领先所有总参数低于 100B 的开放权重模型。同日开放的还有一个循环次数可调的研究变体 TML-d24-varloop-research,对应公司想验证的问题——循环加深后,模型的推理是否还会完整写在可读的思维链里。第三方评测机构 Artificial Analysis 当日发布了独立测算,Hugging Face 也上线了适配博客。
图为 Hugging Face 发布博客中的架构示意。
为什么循环的是中间层:跨层消息与算力对照
按发布博客与 Hugging Face 模型卡的描述,Inkling 2 Mini 的 24 层分成四个六层块:第 0~5 层和第 18~23 层各跑一遍,中间第 6~17 层共享权重跑三遍。隐藏维度 2,304,每层从 128 个专家中为每个 token 路由 8 个;每个残差块内混排五个局部窗口 1,024 token 的滑动窗口层和一个全注意力层。模型原生多模态,图像经视觉 Transformer 编码后与文本一起进入解码器,上下文窗口最长 1M(100 万)token。
循环之间的信息传递靠「跨层消息」:第二、三遍的每层从上一遍的输出里读出一份消息,由可学习的门控决定并入多少。这个门控在训练开始时把消息完全挡住——让带循环的模型起步时等价于普通模型——再随训练逐步放大增益,以此把循环稳定引入训练过程。
公司选择循环中间层的理由是:中间层承担更抽象的推理,头尾几层主要负责在嵌入与内部表示之间做翻译。发布博客给出的对照数据是,循环中间 12 层在 28 项评估中的 27 项上收益更大;训练第 2,000 步的估算显示,不循环的基线要多花 1.51~1.91 倍计算才能追平中间层循环版本的损失,而循环末尾 12 层只需多花 1.24~1.36 倍。在一组未剪枝对照中,非循环版本训练便宜 7.5%,但要在 512k token 的智能体轨迹上追平循环版本的损失,推理计算需要多花 140%。发布博客称这是「首批开放给研究者的循环架构模型之一」;Hugging Face 的博客则指出,Nanbeige 等架构此前已探索过循环。
从 384 个专家剪到 128 个,再用 1 万亿 token 补回来
训练配方同样服务于「装进笔记本」这个目标。模型以稀疏度 48 起训——每层 384 个专家中选 8 个;训练中途一次性剪掉三分之二专家,保留每层使用最多的 128 个,把总参数压到 26.4B。随后用从更大的内部 Inkling 模型蒸馏出的 1 万亿 token 做「治愈」训练,让留下的专家接管被删专家的工作,官方称性能恢复到剪枝前水平。之后是与 Inkling 2 Small 类似数据配比的 SFT(监督微调),以及总计 2.2 万亿 token、2,000 步的强化学习,后训练阶段还包含用于对齐的在策略蒸馏(on-policy distillation)。
量化是省显存的另一处关键:专家层从前训练到强化学习的全部前向计算都用 4 位 NVFP4,配合专用内核(kernel),并在 NVIDIA GB300 平台上硬件加速;最后四层用 8 位 MXFP8。发布博客强调,权重按训练时的精度原样部署——20 层 NVFP4、4 层 MXFP8——不存在量化转换损失。
Apache 2.0 开放下载:硬件门槛与离线运行演示
模型卡把硬件门槛写得很低:单检查点约 20GB、NVFP4 与 MXFP8 混合精度,支持单台 NVIDIA DGX Spark、内存 32GB 及以上的 Apple silicon 设备(MacBook、Mac mini、Mac Studio),其他平台建议 32GB 以上显存。发布当天,transformers、llama.cpp(Llama App)与 MLX 均提供推理支持,SGLang 给出首日支持,vLLM、Ollama、NVIDIA Dynamo 也在支持清单中;Unsloth 和 llama.cpp 提供 IQ4_NL 4 位与 Q8_0 8 位 GGUF 量化版本。权重以 Apache 2.0 许可证在 Hugging Face 开放下载,Tinker 平台提供推理与微调。
发布博客还记录了一段像素小镇演示:Thinkyville 的全部 20 个居民由同一台离线 MacBook 上的同一个模型驱动——居民自行规划日程、互传八卦、办烘焙比赛、回复访客留在门上的留言。博客另引用斯坦福 Hazy Research Lab 与 Scaling Intelligence Lab 的早期测试:在 DGX Spark 上以「每焦耳智能」衡量,Inkling 2 Mini 得分 0.703,明显高于 Qwen3.6-35B-A3B 的 0.430、Gemma-4-26B-A4B 的 0.159 和 Qwen3.5-27B 的 0.036。
成绩单:官方对照表的领先与第三方的性价比测算
在与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 的官方对照表中,Inkling 2 Mini 在 DeepSWE v1.1 拿到 48.2%(Qwen3.8-27B 为 42.2%),SWE-bench Pro v2 Hard 拿到 77.9%(对照为 73.8%),Vals Index v2.2 拿到 46.5%(表中第二名 Nemotron 3.5 Super VL 为 29.8%),AA Index v5.0 得 20.1、与 Qwen3.8-27B 并列;公司还称它比性能相近的模型跑得更快。知识短板靠检索与工具来补:BrowseComp 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%,官方称均在同规模开放权重模型中领先。
发布博客同时写明了机制边界与弱项:循环让模型推理更久,但不能让权重多存事实——事实性基准 AA-Omniscience 与同规模模型持平,封闭式问答(SimpleQA Verified、WorldVQA)对循环次数几乎无感,长上下文检索(MRCR v2、GraphWalks BFS)则随循环次数上升;MultiChallenge 得 50.0%、ComplexConstraints v1.1 得 33.4%,两项都落后 Qwen3.8-27B,在 CritPt v2、HLE-Diamond 等重推理基准上落后于更大模型。
第三方的测算来自 Artificial Analysis:Inkling 2 Mini 以 20 分进入其 Intelligence Index,处在「智能 vs 参数」的帕累托前沿(Pareto frontier),用约五分之一的激活参数追平 Qwen3.8 27B,约六分之一追平 Nanbeige4.3-33B;代价是多写——每个任务平均输出约 15.2 万 token,比 Qwen3.8 27B 多约 38%,计算量却不到 Qwen3.8 27B 的四成,按 Thinking Machines 一方定价折算每任务 0.59 美元、9.0 分钟,对比 Qwen3.8 27B 的 3.53 美元、38.2 分钟。Hugging Face 团队在适配博客里的措辞谨慎得多:「在我们的 vibe 测试里,它至少与 Qwen 3.8 27B 相当。还需要更多验证,但我们为这次发布感到非常兴奋。」官方对照表的脚注同时写明,各模型评估设置不一,全部对比由公司组织。
循环越深、写得越少:可监测性实验的三个初步结果
发布博客专门用一整节讨论监测性(monitorability)。思维链(CoT,即模型边做边写出的推理文本)监测之所以可用,部分原因是标准 transformer 每个 token 只过一遍固定层数,需要更多步骤的推理只能写进生成的文本里,从而可被读取;循环抬高了每 token 的串行计算深度,更多推理可以不落在文字上——而不写在思维链里的推理,CoT 监测器看不见。为了把变量拆开,公司同时放出循环次数可调的 TML-d24-varloop-research:训练时在 1~5 遍之间切换、强化学习固定在 3 遍,权重同样开放在 Hugging Face。
初步结果有三条。其一,不写思维链的能力随循环变强:在 Think Fast 基准上,该模型完全不写思考过程、以 50% 可靠度完成的任务长度(按人类完成时间计)从 1 遍的 16 秒升到 3 遍的 37 秒,之后大致趋平;在要求全程不落笔的串行查表任务 N-Hop Lookup 上,准确率一路改善到 10 遍——尽管模型只被训练到 5 遍。其二,思维链变短但仍然可读:在五档循环全部答对的那批 GPQA Diamond 题上,5 遍的平均推理长度为 1,661 token,不到 1 遍 3,703 token 的一半;句长和英文词典词占比不变,模型更少来回返工,「wait、actually、hmm」这类犹豫标记从 9.7 降到 3.6。其三,可控性与隐匿性没有随循环恶化的迹象:CoT-Control-QA 评估里,两个模型在 750~1,250 token 的思维链上至多 0.1% 服从「避开关键词」类指令(对照的 Qwen3.8-27B 也只有 1.3%),比率低到无法区分循环深浅;LinuxArena 攻击评估中,Qwen3.8-27B 作监测器时几乎抓到全部恶意子任务,换成更弱的监测器后隐匿率在 1.0%~5.0% 之间、与循环次数无明显趋势。
公司也交代了这些结论的边界:变体模型的强化学习只在 3 遍上做过,一个在更高循环次数上做强化学习的模型可能会把推理压缩得更狠。与 National Deep Inference Fabric(NDIF)的合作正在推进,解释性研究实验室 Goodfire 已拿到早期访问权,并写出了对循环模型的早期机制性发现。
这些监测性实验都只在 26.4B 这一规模的模型上做过;循环加深到底会不会把关键推理移出可读文本,目前没有定论。公司提醒,智能体场景下的监测性「在更大规模模型上将很重要,需要持续追踪」。