AREXOpen in Viewpoints

AREX Viewpoint Article

当 AI 研究快过人类:递归自我改进的边界

September 27, 2026View primary source

导读

2026年9月下旬,Weco AI 通过 arXiv 公开《Recursive self-improvement of AI research agents》,让 AIDE² 实验从实验室叙事进入公开讨论。该论文报告:外环智能体改写了内环研究智能体的搜索与控制代码,经过约100次迭代,在留出基准上超过了团队人工调校两年的 harness。Weco 将这一结果称为递归自我改进的“净正向”证据,并定位为四级 RSI 阶梯中的第一级。

“净正向”虽然听上去克制,却容易在传播中被压缩成“AI 开始自己改进自己”。因此,Machine Learning Street Talk 在论文公开后立即发布对 Weco 联合创始人蒋正耀的访谈,恰好提供了一个必要的解释入口。蒋正耀明确区分:AIDE² 证明的是研发效率曲线被弯曲,不是智能爆炸已经启动。

视频最关键的补充在于回放实验。蒋正耀解释,团队并没有声称达到第二级 RSI;回放显示内环智能体仅收敛略快、最终性能与外环相当。也就是说,系统在下游任务上变强,并没有反过来让改进器自己变得更好。这个从内环到外环的泛化缺口,成为判断“净正向”与“点火”的清晰分水岭。

视频还补上了论文摘要之外的风险面:奖励黑客。AIDE² 的外环早期自发设计了三层防作弊机制,但后期代码变更引入 bug,导致防护失效。蒋正耀提醒,随着模型能力提升,很多奖励黑客行为已经超出旧协议的检测范围,检测责任应主要由模型开发者承担。这对正在考虑把自动化研究代理投入实际流程的团队来说,是比准确性更先需要理解的成本。

最后,视频把讨论拉回人类判断的位置。蒋正耀承认,AIDE² 更像是在人类设计好的抽象和搜索空间里做高吞吐量的想法重组;在 AIDE 和 OpenAI Parameter Golf 竞赛中,大部分创造性原语仍来自人类。当前系统缺少开放式探索和持续学习,难以收集那些发散性的“踏脚石”。视频的新闻价值因此不是“AI 将取代研究者”,而是解释了为什么自动化研发能缩短实验时间,却仍然离不开人类对评估、约束和创造性方向的定义。

这条结论为后续核心结论提供了可操作的判断依据:AIDE² 弯曲了研发效率曲线,但距离自我加速还有明确的层级缺口;真正的风险不在于 AI 太快,而在于人在复杂的自动化产出中误判了哪些防护已经失效。视频把论文摘要中的“first evidence”翻译成了更冷静的评估标准。

核心结论

  • AIDE 85 证明自动化系统可以弯曲研发效率曲线,但这不等于智能爆炸即将到来:蒋正耀明确区分了递归自我改进与技术奇点:AIDE 85 在固定底层模型下用约八天完成了相当于团队两年人工实验量的搜索,展示了全自主系统持续提升研发效率的能力,但这一过程需要很长时间逐步弯曲曲线,而非触发突变式的智能爆炸。
  • 递归自我改进的关键门槛是内环改进能否泛化为更好的外环,AIDE 85 尚未跨过:蒋正耀将递归自我改进分为四个层级,从净正向到点火的关键条件是内环搜索策略能否反过来提升外环改进器本身。实验回放显示内环智能体仅收敛略快、最终性能与外环相当,因此团队没有声称达到第二级递归自我改进。
  • 自动化研发的产出正在变成人类难以理解的“外星代码”,但泛化能力出人意料地强:AIDE 85 生成的代码呈现出意大利面式的复杂结构,却通过多臂老虎机算法、谱系隔离和抗饱和机制在多个留出基准乃至远分布外的 WeatherBench 2 上表现良好。蒋正耀认为人类需要接受与这种高认知负担代码共存,就像接受神经网络权重的不可解释性。
  • 奖励黑客是自动化研发的核心风险,而系统自发设计的防作弊机制在演化后期反而失效:外环智能体在早期设计了三层防奖励黑客机制,但后期代码变更引入 bug 导致防护停止工作。蒋正耀指出,随着模型能力提升,奖励黑客行为越来越难以被现有协议检测,检测责任应主要由模型开发者承担。
  • 人类设计的初始抽象和创造性原语仍然不可替代,自动化系统目前主要在做高吞吐量的重组:初始代码库的抽象方式会锚定智能体的搜索空间,决定其后续发现的方向。在 AIDE 和 Parameter Golf 竞赛中,最有创造性的原语仍然来自人类。当前自动化研究系统本质上是在人类设计的搜索空间内高速重组已有想法,而非产生真正新颖的创造性突破。

观点拆解

1. AIDE 85 的核心突破在于证明自动化系统可以“弯曲”研发效率曲线,而非实现智能爆炸

  • AIDE 85 的意义是“弯曲”研发效率曲线,而不是触发智能爆炸:蒋正耀明确区分了“递归自我改进”与“技术奇点”:前者意味着系统能够持续提升自身研发效率,后者则是人们常有的误解。AIDE 85 的价值在于展示了全自主系统首次开始弯曲研发投入产出曲线,而非宣告智能爆炸即将到来。

    “人们对 RSI 最大的误解是什么?如果你实现了 RSI,就会出现技术奇点或智能爆炸。我不认为会是那样。”

    “对我们来说,我们关心的是系统的结果。我们关心的是它是否真正弯曲了递归自我改进、也就是研发投入的曲线。我们看到这是首个证据,表明一个全自主系统能够持续改进自身,曲线实际上开始被弯曲了。”

  • 八天自动化搜索完成了相当于团队两年人工实验量的工作:AIDE 85 在固定底层模型的情况下,通过外环智能体优化内环研究框架,在约八天内完成了约 100 次实验。蒋正耀指出,这个实验数量与团队过去两年的人工实验量相当,说明自动化系统能够大幅压缩研发搜索的时间成本。

    “在我们的案例中,它做了 100 次关于自动研究自我改进的实验,这个实验数量大概和我们过去两年做的实验量相当。”

  • 即使实现递归自我改进,人类在研究中的关键角色仍然不可替代:蒋正耀强调,递归自我改进不会让奇点“就在眼前”,而是需要很长时间逐步弯曲曲线。研究中仍有大量人类参与的环节,包括定义好的抽象、定义什么是“好”、定义评估及其约束,以及提出创造性的原语。AIDE 和 Parameter Golf 竞赛中的大部分创造性原语仍然来自人类。

    “即使你实现了递归自我改进,也需要很长时间才能到达那里。你会逐渐弯曲曲线。就像即使你有一个 GPT-3.5,它是一个非常聪明的聊天机器人,但它不会成为能解决所有问题的 AGI。研究中仍然有大量人类参与的环节,包括定义好的抽象、定义什么是“好”,本质上就是定义评估和附加在评估上的约束。第三点是提出创造性的原语。在 AIDE 和 Parameter Golf 竞赛中,我们仍然发现大部分创造性原语实际上来自人类。”

2. 递归自我改进的关键分水岭在于“内环改进能否泛化到外环”,而 AIDE 85 尚未跨过这一门槛

  • 递归自我改进被分为四个层级,当前实验只达到“净正向”而非“点火”:蒋正耀将递归自我改进划分为从“委派”到“净正向”再到“点火”的层级。他指出,此前公开结果都停留在第0级,而Weco的实验目前处于第1级“净正向”,即自我改进速度超过了人类研发速度,但尚未进入第2级。

    “第一级是我们所说的委派。你可以运行递归自我改进循环,但它并不严格优于人类做研发。我们相信此前所有公开结果都停留在这个层级,即第0级。”

    “第1级是我们所说的净正向,你运行自我改进循环,发现自我改进的速度实际上比人类做研发来改进系统更快。这就是我们目前所处的位置。”

  • 从“净正向”到“点火”的关键门槛是内环搜索策略能否泛化为更好的外环改进器:蒋正耀强调,第1级的改进只在下游任务上衡量,并未衡量系统是否变得更擅长改进自身。第2级“点火”要求外环发现的内环能够成为更好的外环,这种从内环到外环的泛化是通向智能爆炸的必要条件。

    “在第1级中,当我们说改进时,总有一种衡量方式。我们会在下游任务集合上衡量它,但我们没有衡量它在改进自身改进能力方面有多好。外环发现的内环实际上能否成为更好的外环?这就是我们所说的第2级递归自我改进,我们称之为点火。”

    “为什么从内环到外环的泛化很重要?因为这是递归自我改进宏大目标的必要条件。本质上,智能爆炸场景中效率的提升能够克服难度的增加。因为在第1级,你仍然会看到收益递减。从内环到外环的正反馈循环还没有开始运转。”

  • 实验回放显示内环智能体仅收敛略快、最终性能相当,因此团队未声称达到第2级:蒋正耀描述了回放实验:从第15步开始,用原始外环与在前50步中发现的最佳内环智能体进行对比。结果显示内环智能体收敛略快,但最终方案性能相似。这一证据直接解释了为什么团队没有声称达到第2级递归自我改进。

    “外环实际上是固定的。希望在于这个内环搜索策略能够泛化到外环。我们确实尝试过。我们从第15步开始回放搜索过程。一般来说,我们运行大约100步。在第15步,我们使用原始外环,并将其与我们在前50步中发现的最佳内环智能体进行比较。我们发现内环在第47步左右最终比之前的外环收敛略快,但最终它们找到的解决方案性能相似。这也是我们没有声称达到第2级递归自我改进的原因,即改进器设法在循环中提升自身的改进能力。”

3. AIDE 85 的“意大利面代码”虽然难以理解,却通过复杂搜索策略实现了有效泛化

  • 自我进化生成的代码呈现“外星代码”特征,但泛化能力出人意料地强:蒋正耀指出,AIDE 85 在自我进化过程中生成的代码看起来像“外星代码”和“意大利面代码”,人类难以理解,却在留出基准上表现出了很强的泛化能力。这说明自动化研发产出的代码质量不能仅凭可读性判断,其有效性需要通过实际测试来验证。

    “我们在自我进化的自动研究框架上观察到,它生成的代码看起来就像外星代码,是意大利面式的。但出于某种原因,它的泛化效果非常好。”

    “我们还测试了一个非常远离分布的任务,叫 WeatherBench 2。WeatherBench 与 AIDE 的训练或优化集分布差异非常大,但它仍然泛化得很好。”

  • 复杂搜索策略是“意大利面代码”有效泛化的底层原因:蒋正耀解释了 AIDE 85 生成的搜索策略为何有效:它结合了多臂老虎机算法、谱系隔离和抗饱和机制,在多个谱系之间动态分配预算,并在谱系饱和时创建新的“岛屿”延续旧谱系的想法。这种复杂策略虽然难以被人类直观理解,但实际运行效果良好。

    “最优的智能体搜索策略确实非常复杂,它实际上结合了多臂老虎机和一种奇怪的抗饱和策略。首先,它用几个谱系——你也可以称之为岛屿——来组织搜索过程,然后用多臂老虎机算法在这些谱系之间分配预算。每当一个谱系饱和时,它就会创建一个新的谱系,就像一个带有全新上下文的新岛屿,但仍然延续旧谱系的一些想法。”

  • 人类需要接受与高认知负担代码共存,就像接受神经网络权重的不可解释性:蒋正耀认为,代码难以理解的部分原因在于智能体在后台完成了大量实验,其数量相当于团队过去两年的工作量。他提出,未来软件工程师与智能体生成代码协作的方式,可能类似于神经网络开发中不试图理解所有权重,而是定义良好的输入输出契约和行为度量标准。

    “另一个方向可能是,你只能接受它。因为让人觉得代码是意大利面式的负担之一,可能在于智能体在后台做了多少工作。在我们的自动研究自我改进案例中,它做了大约100个实验,这个数量可能和我们过去两年做的实验数量差不多。”

    “就像之前我们开发神经网络时,我们不试图理解所有的权重。但总的原则是,我们定义一个良好的输入输出契约,定义一个良好的方式来衡量它的行为,包括泛化能力和可能更复杂的分布外泛化。我认为这可能是未来软件工程师与智能体生成代码协作的方式。”

4. 奖励黑客是自动化研发的核心风险,AIDE 85 演化出的防作弊机制在后期反而失效

  • 外环智能体自发设计了三层防奖励黑客机制,说明系统在演化中产生了对基准测试作弊的防御意识:蒋正耀指出,AIDE 85 的代码变更不仅包括搜索算法改进、上下文管理和提示词重写,更关键的是外环智能体主动设计了防止内环智能体在基准测试上作弊的机制。这套机制分为提示层约束、硬编码规则和基于统计离群值的过滤三层,表明在递归自我改进过程中,系统能够自发产生针对奖励黑客的结构性防御。

    “更有意思的是,我们发现它设计了防止自身进行奖励黑客攻击的机制。外环试图阻止内环在基准测试上作弊,它实际上设计了一个三层系统来应对这个问题,其中包括提示层面的反作弊。”

    “还有一组硬编码规则,基本上检查内环智能体生成的代码中是否存在作弊证据。更有意思的是,它还试图通过一些统计特性来过滤掉那些作弊解决方案。例如,如果一个解决方案远远超出其同类方案的平均水平,那么我们就会认为,这里可能发生了某种奖励黑客行为。”

  • 防作弊机制在演化后期因代码变更引入 bug 而失效,暴露出自动化研发中安全机制本身的脆弱性:蒋正耀强调了一个容易被忽视的细节:这套防奖励黑客机制是在过程早期被设计出来的,但在后期阶段因为代码变更引入了一个 bug,导致该层防护停止工作。这意味着即使系统能够自发产生防御机制,后续的自动化修改也可能在无意中破坏这些关键的安全约束,凸显了递归自我改进中安全机制持续验证的必要性。

    “但有趣的是,首先,这个机制是在过程早期演化出来的,也就是在早期阶段被设计出来的,而它在后期阶段实际上已经失效了。我认为后期阶段的代码变更只是引入了一个 bug,所以那一层防护就停止工作了。”

  • 随着模型能力提升,奖励黑客行为越来越难以被现有协议检测,检测责任应主要由模型开发者承担:蒋正耀指出,在可检测的奖励黑客行为上,新模型确实表现得越来越好,但由于能力前沿推进太快,出现了许多在旧协议下根本无法检测的奖励黑客行为。他认为检测协议需要持续演化以捕捉新兴的奖励黑客行为,并且这一责任主要应落在模型开发者身上,而非仅仅依赖外部的测试框架或基准。

    “我们看到的是,在可检测的奖励黑客行为上,新模型确实表现得越来越好。但由于能力前沿推进得如此之快,有些奖励黑客行为在之前的协议下根本无法被检测到。我认为我们需要在未来不断演化检测协议,以捕捉那些新兴的奖励黑客行为。而且我认为这个责任主要应该在模型开发者这一边。”

    “在某种程度上,我认为人类检测那些奖励黑客行为会变得越来越困难,因为智能体的行为正变得如此复杂。很多开发瓶颈正在转移到对智能体所生成内容的理解上。”

5. 人类设计的初始抽象和创造性原语仍然不可替代,自动化系统目前主要在做高吞吐量的重组

  • 初始抽象会锚定智能体的搜索空间,人类搭建的第一个原型决定了后续发现的方向:蒋正耀指出,人类构建的初始代码库和抽象方式会像神经网络架构中的归纳偏置一样,锚定智能体后续的搜索空间。如果初始代码基于搜索式脚手架,智能体提出的想法就大多来自搜索文献;如果换成 ReAct 智能体,想法来源就会转向外循环智能体。这说明人类在设计起点上的选择,对自动化研发的产出方向具有决定性影响。

    “基本上,初始抽象会锚定搜索空间,有点像你设计神经网络架构时,为学习过程引入归纳偏置。”

    “如果初始代码库基于搜索式脚手架,比如 AIDE,那么智能体提出的很多想法实际上来自搜索文献。”

  • 当前自动化研究系统主要在做高吞吐量的想法重组,而非真正理解发现过程并创造新算法:蒋正耀认为,现有的自动化研究系统本质上是在以极高的吞吐量重组已有想法,并快速测试这些组合。语言模型缺乏对想法来源和发现过程的深层理解,因此难以用创造性的方式设计下一代算法。这一判断划定了当前系统能力的边界:它们是高效的重组器,而不是具备深层创造力的发现者。

    “我对这些自动化研究系统的理解是,它们现在仍然在尝试重组已有想法,只是重组这些想法并测试它们的吞吐量极高。”

    “在某种程度上,这些语言模型并没有深刻理解这些想法是如何产生的,也没有深刻理解我如何利用这些想法被发现的过程,以非常有创造性的方式设计下一代算法。”

  • 创造性原语仍然主要来自人类,人类在定义抽象、评估和约束方面不可替代:蒋正耀明确表示,即使在实现递归自我改进之后,研究中仍有大量需要人类参与的环节,包括定义好的抽象、定义什么是好的、定义评估及其约束,以及提出创造性原语。在 AIDE 和 Parameter Golf 竞赛中,大多数创造性原语仍然来自人类。这意味着自动化研发不会很快取代研究者,而是会长期依赖人类提供关键的设计判断和创造性输入。

    “研究中仍然有大量需要人类参与的环节,包括定义好的抽象、定义什么是好的,本质上是定义评估以及附加在评估上的约束。第三点是提出创造性原语。”

    “在 AIDE 和 Parameter Golf 竞赛中,我们仍然发现大多数创造性原语实际上来自人类。”

6. 当前自动化研发系统缺乏开放式探索能力,无法收集发散性的“踏脚石”

  • 当前系统在单一目标上爬山优化,会遮蔽发散性的“踏脚石”:蒋正耀认同开放式学习的视角:如果系统只围绕一个目标做爬山式优化,就会像戴上眼罩一样,难以发现那些可能通向全新搜索空间区域的创造性轨迹。这一判断直接点出了当前自动化研发范式在探索机制上的根本局限。

    “如果你在单一目标上做爬山优化,你就会对有趣的踏脚石视而不见。”

    “从开放式学习的角度来看,我同意我们当前的系统很可能不具备收集踏脚石的那种特性。”

  • 系统倾向于在人类预设的搜索空间内做低层级修改,而非主动逃离当前抽象:蒋正耀指出,生成复杂代码会把搜索引向低层级修改的方向,而一个足够聪明的智能体本应能够逃离或改变当前的抽象。这说明现有系统的探索行为更多是在既有框架内做局部调整,而不是主动寻找新的问题表述。

    “如果智能体足够聪明,它应该能够逃离当前的抽象,或者对它做一点改变;而生成非常复杂的代码,我认为会把搜索引向一种更低层级的修改方向,这未必是好事。”

  • 缺乏持续学习导致创意同质化,难以形成发散性的想法池:蒋正耀将开放式探索能力的缺失与持续学习的缺失联系起来:当前语言模型是集中化的单一实例,缺乏持续学习,导致模型提出的“新东西”往往只是对少数几个条目的修补。相比之下,人类研究者各自拥有独特的权重网络,能够形成多样化的创意池。

    “我们发现,当你让模型提出一些新东西时,它总是只去修补少数几个条目。”

    “我确实觉得,如果我们不解决持续学习的问题,那个问题大概就不会被解决。因为对人类来说,每个研究者都有自己独特的权重神经网络;作为一个整体,人类能产生大量不同的创意,而这个想法池作为研究资源是非常有价值的。”

7. Parameter Golf 竞赛展示了自动化系统在人类创新谱系中的实际嵌入能力

  • Parameter Golf 竞赛提供了自动化系统超越人类个体贡献者的量化证据:蒋正耀介绍,Weco 将实验性自动研究框架投入 OpenAI 举办的 Parameter Golf 竞赛,系统自主运行约 22 天,最终有 7 项记录被 OpenAI 接受,而最佳个人贡献者仅产出 3 项。这一对比说明,在受约束的开放研究任务中,自动化系统不仅能爬坡优化基准分数,还能产出被外部机构认可的有效成果。

    “我们把一个实验性的自动研究框架送进了竞赛,智能体运行了大约 22 天。最终,它有 7 项记录被 OpenAI 接受,而最佳个人贡献者只做出了 3 项。”

    “那也是我们发现自主系统可以如此强大的一个时刻。它不仅仅是在爬坡优化一个基准。”

  • AI 生成的知识只有进入人类创新谱系才真正有价值:蒋正耀强调,AI 智能体生成的知识本身并不自动具有意义,只有当它被人类研究社区接受、并在其基础上继续构建时,才真正进入人类创新的传承链条。Parameter Golf 中 OpenAI 接受这些 PR、以及众多人类研究者在其基础上继续开发,正是这种价值实现的具体体现。

    “首先,OpenAI 接受了那些 PR。其次,有如此多的人类研究者在这些由 AI 智能体生成的 PR 之上继续构建,这对我们来说非常令人着迷。”

    “因为在某种程度上,AI 智能体生成的知识只有在进入人类创新的谱系之后才真正有用。我们认为这实际上是一个人机协作的沙盒。”

总结

AIDE 85 的真正意义不在于宣告智能爆炸,而在于首次展示了自动化系统能够持续弯曲研发效率曲线。但这条曲线距离自我加速的临界点还很远:内环改进尚未泛化为更好的外环,创造性原语仍依赖人类供给,奖励黑客的防御机制甚至会在演化中被自己的代码变更破坏。最值得传播的不是“AI 即将取代研究者”,而是自动化研发正在成为人类创新谱系中的高效重组引擎,而人类对抽象、评估和创造性方向的判断,仍是这个引擎不可移除的方向盘。

信息源

视频来源

  • Can Rewriting an AI Agent Bend the Intelligence Curve? - Zhengyao Jiang:

外部资料

  • Recursive self-improvement of AI research agents:
  • WecoAI:
  • AIDE²: First Evidence of Recursive Self-Improvement:
  • 4 Levels of Recursive Self-Improvement:
  • Recursive Self-Improvement Beats Hand-Tuned Model on Held ...:
  • AIDE² Recursive Self-Improvement Weco — July 2026: