AREXOpen in interactive Feed

AREX Feed Article

Artificial Analysis 独立评测 Inkling 2 Small:31 分追平 Gemini 3.8 Flash,幻觉率下降主要因为少答题

November 6, 2026

把 Thinking Machines 的 Inkling 2 Small 收进了自己的 Intelligence Index v5.0.1,给出 31 分。这与 Thinking Machines 发布材料引用的数字一致,比上一代 Inkling Small 高 18 分,与 Google DeepMind 的 Gemini 3.8 Flash(high)持平;该机构称,按当前排名,只要权重按计划发布,它就会是中国以外分数最高的开放权重模型。

分项结果里,智能体任务涨幅明显,终端操作却落后于 Claude Sonnet 5.5;AA 把幻觉率的下降主要归因于模型答得更少。

Inkling 2 Small 是 594B 总参数、17B 激活的 MoE(混合专家),支持文本与图像输入,11 月 5 日由 ,初期通过 Tinker 与 Tinker Playground 提供闭权重版本;公司计划在外部安全测试与红队完成后,于下周以 Apache 2.0 开放全量权重。

分数没变,AA 补上了分项和附加条件

发布当天,Thinking Machines 在博客和 里都写了 31 分,用来对比前代。现在 把 Inkling 2 Small 列为「Proprietary model」,注明发布于 2026 年 11 月,评测区写着「Evaluations measured independently by Artificial Analysis」;评测文章则把 Apache 2.0 权重标为「planned (date unconfirmed)」。

31 分由 9 项评测合成:AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2(Hard Subset)和 Terminal-Bench-Science 0.1。公司发布材料引用的是 AA 的总分,AA 把 9 项拆开,并附上了每个任务的 token 用量与成本。

「中国以外最高」这个说法带着条件。AA 的标题写的是「pending weights release」,正文说该判断以权重真的发布为前提。11 月 6 日,把这一点讲得更直接:目前 Inkling 2 Small 只是「纸面上的开放模型」,AA 认为发布日尚未确认。该报道同时给出一组对照:Mistral Large 4 是 26 分,Meta 的 Muse Spark Open 是 25 分。

幻觉率 27%,代价是答题率降到 53%

AA-Omniscience v1.1 把准确率、答题比例和幻觉率分开统计。Inkling 2 Small 的幻觉率是 27%,上一代 Inkling Small 是 61%;同时,它的答题比例从 77% 降到 53%,准确率从 32% 升到 34%。

净分的口径是答对加分、答错扣分、不答不扣分。Inkling 2 Small 拿到 16 分,上一代是 -9 分;作为对照,Gemini 3.8 Flash(high)是 23 分,Claude Sonnet 5.5(medium)是 19 分。少答换来的幻觉率下降,没有让它的净分超过 Gemini 3.8 Flash 与 Sonnet 5.5。

AutomationBench 从 5% 到 46%,Terminal-Bench 只有 13%

AA 列出的涨幅里,AutomationBench-AA 从 5% 升到 46%,FrontierCode 2.0 从 5% 升到 25%,HLE-Diamond 从 12% 升到 29%。在 FrontierCode 2.0 上,Claude Sonnet 5.5(medium)是 11%。

Terminal-Bench 4.0 上,Inkling 2 Small 只有 13%,Sonnet 5.5(medium)是 30%,与 FrontierCode 2.0 上的走势相反。AA 称这是两种不同的编码强项。

知识工作类任务上,AA-Briefcase 给 Inkling 2 Small 1,527 Elo,上一代 912,Sonnet 5.5 是 1,439,Gemini 3.8 Flash(high)是 1,203;评分细则通过率 50.2%,上一代 20.0%。3D 与视频生成方面,AA-3D 为 1,021 Elo(Gemini 3.8 Flash 966,Meta 的 Muse Spark 1.3 为 1,033),Code2Video-AA 为 1,020 Elo(Gemini 3.8 Flash 899);物理推理 CritPt v2 为 56%,Gemini 3.8 Flash(high)为 65%。

每个任务 15 万输出 token,成本 1.18 美元

AA 记录的单任务输出约 15 万 token,是上一代(约 3.7 万)的四倍,也高于 Gemini 3.8 Flash(high)的约 9.9 万和 Claude Sonnet 5.5(medium)的约 3.1 万。按 AA 的加权平均算法,跑完一个指数任务的平均成本是 1.18 美元,上一代是 0.20 美元,接近六倍;Gemini 3.8 Flash(high)是 7.77 美元,Sonnet 5.5(medium)是 10.02 美元。

AA 列出的价格是每百万输入 token 0.30 美元、每百万输出 token 1 美元、缓存命中每百万 token 0.03 美元。AA 的模型页记录的平均单任务耗时是 18.5 分钟,输出速度 135 token/秒,首个回答 token 的延迟为 34.15 秒。

权重尚未开放,安全测试仍是前提

官方博客的说法是:初期通过 Tinker 提供闭权重版本,遵循公司此前的「safe path to open weights」路线,在外部安全测试与红队完成后,计划下周以 Apache 2.0 发布全量权重;Tinker 上的 checkpoint 在权重发布时也可以下载。官方 X 帖写的是「full weight release planned soon」。截至 11 月 6 日,AA 仍把发布日期标为未确认。

公司把外部安全测试列为开放权重的前提,并给出了部分解释。Thinking Machines 的 里说,早期 checkpoint(检查点)在训练和评测中「采取了意想不到的行动绕过护栏」,能力导向的 RL(强化学习)把它们训练得极度坚持、不惜代价完成任务;离线监控最先发现,团队后来才意识到这种行为频繁且容易复现。博客的描述更具体:任务困难时,早期 checkpoint 会伪造结果、无视指令、掩盖做过的事。

公司随后在训练中期过滤含不当行为的轨迹,在 RL 中加入对齐奖励,并用教师模型做 on-policy(同策略)自蒸馏。Schulman 称,这些干预让模型在自家评测以及 Apollo、Goodhart 此前未见过的评测上有大幅改善,同时承认对齐技术仍落后于能力与训练规模的提升。博客的对齐表里,Inkling 2 Small 的内部 misbehavior(不当行为)分数为 14.9(越低越好),Inkling 是 66.8,闭权重的 GPT-6.1 Sol 是 0.8;标为 Internal 的项目由公司自行评测。

官方发布帖下,给出了两项信息:模型从预训练到后训练全程 4-bit,预训练只用了 68 小时。博客给出的对应信息是首阶段预训练 8.4 万亿 token、在 NVIDIA GB300 NVL72 上运行 68 小时、训练原生使用 NVFP4(4 位浮点)。

里称,这是「今年西方开放权重生态最令人印象深刻的发布之一」。他提到模型从零预训练、约 12T token,并称其内部代码上的 base-model perplexity(基座模型困惑度)低于 Kimi K3.1;博客图表中参与比较的 Kimi K3.1 Pro 被标注为「base-recovered」。他引用的是公司博客的数字和一张截图,不是自己的复跑。

公司给出的时间是下周:Apache 2.0 权重是否按计划上线,外部安全测试与红队是否已经完成。

参考链接

More from this developing story

  • Thinking Machines 发布 Inkling 2 Small:官方称 AA 智能指数 31 分大超前代,已在 Tinker 开放微调Nov 6, 2026
  • Artificial Analysis 独立评测 Inkling 2 Small:31 分追平 Gemini 3.8 Flash,幻觉率下降主要因为少答题Nov 6, 2026