AREX Feed Article
Memento 3 论文称冻结 LLM 加自然语言规则手册在 ARC-AGI-3 全部 25 个公开游戏达 100.0 RHAE
一篇 10 月 8 日提交到 arXiv 的论文声称，一个底层语言模型参数全程冻结的智能体，靠一份自然语言「规则手册」和由它编译出的可执行世界模型，清掉了 ARC-AGI-3 全部 25 个公开游戏的每一层，平均 RHAE（Relative Human Action Efficiency，相对人类动作效率）达到 100.0；论文把 100 称作这个动作效率指标的上限（，提交时间 12:06:54 UTC）。论文给出的动作账是 7,518 个，相当于其所用人类基线 17,135 个动作的 44%。
论文题为《Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks》，署名作者 8 人，机构标注为 University College London、华为诺亚方舟实验室（英国）与 University of Liverpool，通讯作者是 Jun Wang。AI Weekly 于 10 月 9 日 12:35 UTC 发布警报（14:47 UTC 更新）：论文称其平均 RHAE 比 ARC Prize 标准 harness 下的 Claude Opus 5 高 59.3 分，AI Weekly 把差距折算成对方的 40.7 分（）。
规则手册是 Markdown，世界模型是 Python 模块
论文把这套设计称为 Code as Model。规则手册落地为一份名为 world_model.md 的 Markdown 文件，记录智能体对对象、动作语义、动态和目标的当前说法，把尚未确定的解释留在未指定状态；可执行部分是一个 Python 模块 world_model_engine.py，负责内部状态转移，另配状态重建、渲染和目标完成判定的例程，输出完整的下一帧网格以及「本层是否已完成」（）。
修订走五步循环：观测、反思、规则修订、编译、验证。预测误差同时驱动规则手册与代码的改写：规则级改动先写进 Markdown，再去细化 Python；如果诊断只指向实现问题，规则手册保持不动。改动后的代码要过两道关才会交给规划器：冻结的 LLM 判断代码是否忠于规则手册，重放验证则要求 64×64 网格的每个格子都与记录的转移吻合（论文称之为 cell-exact）。
历史用 Git 保存。规则手册和它编译出的模块放在同一个版本控制工作区，每次迭代提交一次并用迭代号打标签；论文强调这份历史对智能体自己可见，它可以查看早期迭代、比较两份规则手册的差异，也可以恢复被后续编辑弄坏的版本。在游戏 tr87 的一局里，论文记录了 11 个规则手册版本，展示了其中 3 个版本的规则如何被后续观测推翻。
100.0 的计分口径：通关优先，再比动作数
ARC-AGI-3 是 ARC Prize 的交互式推理基准，官方对 100% 的定义是「智能体能以与人类相同的效率通关每一款游戏」；每个游戏是在 64×64 彩色网格上运行的确定性环境，动作来自一个初始语义未知的按键与点击界面（）。
计分沿用 ARC Prize 的动作效率公式：每一层的效率项取 1.15 与「人类动作数与智能体动作数之比的平方」中的较小值；整个游戏的 RHAE 是 100 乘上两个量的较小者，一是按层号加权的通关比例（层号越大权重越高），二是同样按层号加权的效率均值；未通关的层把智能体动作数记作无穷。要拿到上限，每一层都必须清掉，且加权效率均值不低于 1。因为效率项每层封顶 1.15、总分又取两者的较小值，动作数低于人类并不会把分数推过 100。计数口径是：所有发往环境的动作都算，包括失败尝试和重置之后的动作；模型构建、本地执行和重放不计入动作数。
逐游戏看，动作比从 m0r0 的 0.20 到 lf52 的 0.67，中位数 0.42；论文称每个游戏的动作总数都低于该游戏的人类基线。表里最接近的是 baseline1：平均 RHAE 99.0，同样清掉全部 25 个游戏，用 8,347 个动作，相当于人类基线的 0.49；论文的运行用 7,518 个。两个系统都清完 183 层，差距落在动作数上。其余四个系统都没打完：NOOA 85.1（清 19 个游戏）、OPINE-World 78.4（清 20 个）、DreamTeam 38.1（6 个）、Continual Harness 20.5（3 个）；论文提醒，这四个系统留在场上的动作总数（11,697、12,859、9,789、14,558）反映的是未跑完的过程，不能当作解题成本来比较。论文同时说明，全部基线数字、每个游戏的动作数与通关层数都取自各系统在 ARC Prize 的官方 scorecard，人类基线同源。
对比对象是 ARC Prize 标准 harness 上的 Claude Opus 5
论文的实验 harness（运行框架）以 baseline1 的代码库为起点，在 Claude Code 里运行，骨干模型是 Claude Opus 5，推理强度设为 extra-high；对比对象是「Claude Opus 5 加 ARC Prize 标准 harness」，论文正文给出的差距是平均 RHAE 高 59.3 分。
AI Weekly 把这笔差距折算成 40.7。论文引用的 ARC Prize 页面记录了 Claude Opus 5 的 ARC-AGI-3 结果：该页面的记录日期是 2026 年 7 月 24 日，标注为 ARC-AGI-3 Public Demo、25 个环境、High 推理强度（论文注明访问日期为 2026 年 10 月 1 日）；页面给出的 ARC-AGI-3 成绩是 30.16%，同时列出 25 个环境各自的数值，其中 AR25、FT09、LP85、R11L、S5I5 为 100.0%，VC33 为 98.8%、SB26 为 77.8%，BP35、G50T、SC25 为 0.0%。把这 25 个数值取算术平均是 40.7（）。
这 59.3 分因此产生在同一款骨干模型的两套运行方式之间：一侧是作者自建的 harness 加 extra-high 推理强度，另一侧是 ARC Prize 的标准 harness 加 High 推理强度。
去掉规则手册，再加一个世界模型
消融的做法是把规则手册从更新循环里拿掉，只留下代码世界模型，harness、重放验证器、规划执行器、骨干模型和推理强度保持一致。论文说用 Claude Code 跑 ARC-AGI-3 实验的时间和金钱成本都很高，所以只从三个难度带里各挑一款游戏：ft09（人类每层 35 个动作）、ka59（104）、cn04（132）。三款游戏的所有运行都清掉每一层、RHAE 都是 100，因此比的是收敛成本：带规则手册的版本用 617 个动作对 677 个（减少 9%），678 个智能体迭代轮次（agent turn）对 830 个（减少 18%）。动作数的下降在三款游戏上一致，轮次降幅主要出现在 ft09 和 cn04。
种群扩展把 N 个「规则手册加可执行代码」的组合并行维护、共享交互历史，主实验用的是 N = 1。论文在人类动作基线最大的 wa30 上试了 N = 2：N = 1 与 N = 2 两种配置都清掉全部九层、针对实时服务器重放的 RHAE 都是 100，总动作从 899 降到 597（0.66 倍），九层里有八层持平或更省，第 8 层反而多用了 6%（130 对 138）。论文称两个世界模型从不同假设出发，在共享交互历史消解分歧的过程中收敛。
Pong 上的 9,504 帧
论文在 Atari Pong 上试了同一套机制能不能做反馈控制：把解题用的规划器换成反馈策略，用学到的可执行模型预测候选动作的后果。设置是 Arcade Learning Environment，frame-skip（跳帧）为 4。三个不同开局的三局都以 21 比 0 取胜，学习成本 9,504 个模拟器帧；评估阶段控制器固定，不需要调用 LLM。论文还记录了 Pong 反弹规则的三个版本：最初的「四段反弹带」假设被一次水平回球推翻，改为允许竖直速度为零的公式，后来发现公式高估竖直速度，再改为竖直速度绝对值不超过 2 的非对称分带。
对比来自强化学习实验的报告值。论文称，无模型（model-free）基线报告的学习成本约为 9,504 帧的 2.1×10⁴ 倍；两个基于模型（model-based）的基线 EfficientZero 与 EfficientZero V2 用 4×10⁵ 帧，约合 42 倍。同一份表里还有一个不学世界模型的对照：同一款 LLM 每帧调用一次、没有记忆，得分是 −19；随机策略 −20.7；人类平均 14.6。论文的 Pong 分数取三局平均，基线分数各自沿用其原始评测协议。
数据来源、外部解读与验证规模
100.0 这一侧由论文作者自行报告，成绩出自他们自己搭建的 harness；论文写明种群实验的结果是在针对实时服务器重放时得到的。对比一侧的数字来源则是各系统在 ARC Prize 的官方 scorecard。
论文接受的更新条件包含两层：代码是否忠于规则手册由冻结的 LLM 自己判断，再叠加逐格重放验证，两者都通过才进入后续的规划与探索。
AI Weekly 的编辑按语把这组结果解读为对押注「权重更新是唯一路径」的强化学习算力投入构成压力，并把外部记忆视为训练式世界模型的有力竞争者；这一评价属于该媒体。
机制验证的规模小得多：消融在 ft09、ka59、cn04 三款游戏上做，种群对比只有 wa30 一款的 N = 2，Pong 的评估是三局。论文在消融一节把这种收窄归因于成本：用 Claude Code 跑一次 ARC-AGI-3 实验，时间和金钱开销都相当可观。