AREX Feed Article
腾讯混元联合复旦、清华发布 ExplorationBench：报告称最佳轨迹四轮探索后达 89.0%
9 月 30 日晚，腾讯混元（Tencent Hy）的 X 官方账号 发帖宣布推出 ExplorationBench。这是一个衡量 AI 系统「探索能力」的评测基准，帖文称由腾讯混元、复旦大学和清华大学的研究者共同构建，形式是规则可执行、答案可以精确判定的「外星世界」（Alien Worlds）。帖文给出的两个沙箱是：AlienCode 有 31 处隐藏的规则变更和 70 项任务，AlienLogic 有 24 条被打过补丁的推理规则和 70 个定理。系统拿到的是一份有缺陷的手册，要自己设计探针摸索规则，再做闭卷测试；每个答案由解释器或证明检查器评分，没有 LLM 裁判。
帖文分四点列出评测发现。第一点关于 AlienCode：四轮探索之前，没有任何一条轨迹的得分超过 15.7%；四轮之后，最好的一条达到 89.0%，而同样轮数却不给环境反馈的对照组停在 0.5%～11.0%。这组结果由研究团队自行运行并发布，论文、博客和排行榜都出自同一团队。
两个「外星世界」：常识在这里是错的
为什么要造外星世界，团队在里给过解释：拿已知领域出题，模型可能只是背出预训练里见过的答案，对黑盒模型来说，污染几乎无法排除；拿真正的科学前沿问题出题，验证一个新结论又可能需要昂贵实验或数年时间，真发现和自信的错误看起来一模一样。外星世界的规则可执行、且与已知知识冲突，于是对错能精确判定，记忆反而会误导。
AlienCode 是一门看上去眼熟的小型计算语言。据列出的规格，它包含 31 个发现目标、70 项留出任务（held-out tasks，不进入探索过程、只用于计分），每项任务配 5 个私有输入。31 条规则被悄悄换过语义：SHATTER 听上去是粉碎，实际做乘法；EMIT(100) 会打印 127，因为整数字面量被静默地异或上 27；手册说 PLUCK 从 0 开始计位，它其实从 1 开始；语言里没有加法原语，想相加就得用其他反直觉操作拼出来。程序由解释器在私有输入上评分。
AlienLogic 是一个一阶自然演绎系统，24 条推理规则被打上补丁：一些平时理所当然的推理步骤在这里不成立，一些原本无效的步骤反而可以通过。70 个待证定理里埋了 25 个被设定为不可证的目标，系统只有主动放弃证明才得分，每个证明由证明检查器逐一验证。
两个世界合计 55 个发现目标、140 项留出任务，每条被改动的规则都至少被一项测试任务覆盖。
四轮自设计探针，每一轮后闭卷作答
每个系统都从同一份有缺陷的手册和同一批固定样例出发，在一个连续的对话历史里探索四轮，权重不更新。每轮里，系统通过专用工具提交探针（代码或证明），环境立刻返回确定性的、不附解释的反馈。从固定样例出发时的水平记为 M0，四轮探索后的水平记为 M4。
每轮结束后，评测框架复制一份对话、切断工具权限：这份闭卷副本要陈述它认为成立的规则，并把全部留出任务回答三遍；随后副本被销毁，测试内容不会进入之后的探索。每个系统在每个沙箱跑三条独立轨迹，主结果取三条轨迹中最好的一条终点（Best@3），每个分数是一道题三次回答的平均值；所有系统都在最高推理设置下运行。
受测的 10 个系统包括 Claude Opus 5、GPT-5.6 Sol、Gemini 3.8 Flash、Kimi K3、Grok 4.6、Qwen3.8-Max、Hy4 preview、DeepSeek-V4.1-Flash、Seed2.1 Pro 和 DeepSeek-V4-Pro。
反馈比多想几轮更有效
四轮探索在两个沙箱里都抬高了成绩：AlienCode 上，10 个系统里有 7 个的最好轨迹超过 60%；AlienLogic 保留了一部分标准自然演绎、起点更高，Best@3 由 32.9%～51.9% 升至 58.1%～83.8%。
涨分未必来自探索收集的证据，也可能只是多了几轮思考时间。团队在同一个工具界面上设置了对照：直接作答、不给工具反馈地多想几轮、固定探针、重放自己最好轨迹的探针（证据完全相同，只是不再由它选择），以及完全自主探索。AlienCode 的中位成绩从自主探索的 67.4% 掉到重放的 41.2%，再掉到固定探针的 5.7%；10 个系统里有 9 个在自主探索时比重放表现更好，差距中位数 17.4 个百分点。AlienLogic 上自主与重放几乎持平（中位差 0.5 个百分点），但都远高于固定探针。
无反馈的多轮对照里，AlienLogic 有 3 个系统的成绩不升反降；博客还记录了一个案例：没有新证据时多想四轮，一个系统放弃了自己从样例里正确读出的规则。
会说规则，不等于会用规则
团队给出的一个数字是：即使最终规则报告把一项任务需要的每条规则都陈述正确，这项任务也只有 73.4% 的概率被解出。
AlienCode 的难度集中在两条「差一位」规则上：PLUCK 的索引偏移和 CARVE 的切片偏移。单轮跳涨 30 个百分点以上的情况出现 13 次，其中 12 次恰好落在模型第一次搞清 CARVE 偏移的那一轮。有一条轨迹里，GPT-5.6 Sol 用一次工具调用读出一个已知列表的四个位置和一个切片，返回值与手册预测全部不符；那一轮之后，它的规则报告从 8 条正确涨到 28 条，留出准确率从 11.0% 升到 81.9%。
开卷对照显示，两个沙箱的瓶颈正好相反：在 AlienLogic，直接把完整规则集写进上下文就能拿到 93%～97%，没有一条自主探索的最好轨迹能追上，瓶颈是「发现规则」；AlienCode 这边瓶颈在「使用规则」：10 个系统里有 7 个的最佳轨迹超过「探索前就被告知规则」的成绩，其中 GPT-5.6 Sol 自主探索拿到 88.1%，高于被告知规则的 69.5%；Hy4 preview 则是 63.3% 对 28.6%。30 条轨迹里有 26 条「探索之后再被告知」高于「一开始就被告知」，中位数高 14.5 个百分点。按团队的说法，探索除了帮模型发现规则，也锻炼了它使用规则。
同一个预算，两条轨迹可以差出 70 多个百分点
系统的内部波动远大于答题噪声：同一里程碑下重复回答三遍，AlienCode 的标准差最多 4.7 个百分点；而同样预算下的三条探索轨迹，Kimi K3 的终点落在 5.7%～79.0%，Gemini 3.8 Flash 落在 6.2%～79.0%。Kimi K3 的两条轨迹都正确陈述了索引偏移规则，一条以 79.0% 收尾，另一条只有 5.7%：后者在函数体内部仍用只在顶层成立的规则编码数字，索引越界。
聚合方式也能改变名次：Qwen3.8-Max 按 Best@3 排第六，按三条轨迹的均值排第三。换一个沙箱，名次几乎无法预测（Spearman 相关系数 0.35）：Grok 4.6 在 AlienCode 排第五、在 AlienLogic 排第一；Gemini 3.8 Flash 在 AlienCode 并列第三，到 AlienLogic 垫底。
投入多少也解释不了差距。每条 AlienCode 轨迹都用掉 48 次工具调用配额中的 45～48 次，但不同系统最好轨迹的探索 token 数在 34 万～1,160 万之间。进步往往是跳变，最大单轮涨幅占总涨幅的 47%～92%；也有倒退，30 条 AlienCode 轨迹里有 6 条、30 条 AlienLogic 轨迹里有 3 条的终点比某个更早的里程碑低至少 3 个百分点。Gemini 3.8 Flash 有一条 AlienLogic 轨迹，先正确拒绝了一个不可证定理，随后说服自己改用证明检查器拒绝的变通做法，还把它当成规则写进了报告。
论文、榜单，和团队留给下一步的问题
论文《ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds》已于 （cs.AI、cs.CL 分类），共 20 位作者；官方博客由 Ming Zhang、Maxm Pan 署名，单位标注为复旦大学与腾讯混元团队。这项工作接在团队此前的 EvaLearn（NeurIPS 2025 论文）与 CL-bench 之后：CL-bench 把待学材料直接放进上下文，十个前沿模型平均只解出 17.2%；帖文的表述是，CL-bench 问模型能否从上下文中学习，ExplorationBench 问它们能否自己发现规则。
项目网站公开了排行榜：它按每个系统、每个沙箱的三条轨迹取 Best@3 排名。任务集不公开，网站写明，想让模型进入评测，需要联系团队、由团队在与排行榜相同的协议下运行；帖文把代码标注为「coming soon」并给出 ，截至发稿，该地址对外返回 404。
团队在博客结尾写明了边界：这套评测衡量的学习只存在于单次会话的上下文里，会话一经重置，模型辛苦探索出的规则不会留下。博客写道，他们下一步要看的是知识的整合与固化：能否从大量探索记录里挑出值得保留的经验，沉淀进长期记忆、可复用的工具，甚至参数；以及环境规则改变时，模型能否自己丢掉过时的判断。