AREX Feed Article
Sakana AI 开源 The Agentic Scientist：把 Codex 和 Claude Code 装进六阶段科研流水线
Sakana AI 于 10 月 15 日通过官方账号 宣布，开源发布 The Agentic Scientist（AI Scientist v3）和配套画图工具 AutoIllustrate，并附上、与论文 （论文 10 月 13 日已挂出）。按官方描述，这套系统把 Codex、Claude Code 这类现成编码 agent 包进一个让科研循环显式化的 scaffold（外层框架）：多个 worker 并行检验假设，评分依据是实验开始前就写好的 rubric（评分细则），成败结论写入共享内存，获胜程序还要做消融（ablation）实验，把「为什么有效」变成证据。
开源已经落到代码上： 现已可以访问，代码以 Apache 2.0 许可证发布，实现了六阶段流水线（课题起草 → 调研 → 消融 → 密封终评 → 事后分析 → 论文撰写），外加可选的评审与修改环节，默认在 Docker 容器内通过无头 CLI 驱动 claude、codex、cursor、opencode、gemini、pi 六种编码 agent。公司自报的成绩包括：一篇由研究人员与系统共同完成的 Error Diffusion 论文被 ALIFE 2026 接收为口头报告；自主运行把 Doc-to-LoRA 的多针（multi-needle）检索准确率从 52% 提到 98%；系统还设计出一个在未见任务上优于经典进化策略 CMA-ES 的 learned evolution strategy（学得的进化策略）。以上均为公司自述，代码与论文已公开，可自行查验。
把科研问题丢给编码 agent，往往得到的是超参数优化器
给这代系统的定位是「为编码 agent 时代而建」：自 2024 年起，Sakana AI 用 The AI Scientist 系列检验 AI 能把科研推进到哪一步，从 v1 到 v2，再到今年早些时候发表在 Nature 上的论文。但前作也暴露出短板，总结为：生成的想法展开不充分，实现里藏着错误。
把问题说得更直接：全自主科研 agent 的构思半径有限，搜索容易退化成短视的爬山法。官方帖文的说法是，把一个科研问题直接丢给 Codex 或 Claude Code，得到的往往是一台很强的超参数优化器：分数上去了，思路却很窄，涨分的理由也没人查。
The Agentic Scientist 的对策是把研究循环本身显式化：scaffold 控制每个 agent 能看到什么、写下什么、怎样被打分、结果如何交给下一阶段。按论文摘要的说法，一个元控制器（meta-controller）调度并行的科研 agent，在每个阶段强制执行 rubric 校验；同一套编排层可以跨领域复用，只要任务给出一个可脚本执行的评测器。系统既能当人类科学家的协作工具（co-scientist），也能做端到端的自主研究；论文的消融还给出一个判断：可靠的科研自主性不只取决于基础模型能力，也取决于跨 agent 的编排层。
从 task.md 到论文 PDF：仓库里的完整流水线
的 README 写明了用法：从一个 task.md 任务描述出发，agent 提出想法、跑实验、对照 rubric 评估，迭代出更强的程序；随后流水线补跑基线与消融、在密封环境里终评、做事后分析，最后写论文。每轮运行的所有阶段收在同一个目录里：results/<task>/<agent>/<run_id>/ 下依次是起草日志、不可变的任务快照、调研记录（想法、尝试、获胜者与优化器记忆）、消融、密封终评、事后分析和论文手稿。
默认配置走 agsci run，各阶段在各自的容器里运行，且只读取运行本地的快照。agent 通过 Headless CLI 驱动，六种 agent 都能用 agent.name=... agent.model=... 指定，同一个实验因此能换着模型和框架重复跑。默认预算是 3 轮想法迭代、5 次消融重复、3 项事后分析；仓库自带的入门任务是纯 CPU 的圆填充（circle packing）示例，跑完会得到一篇编译好的论文 PDF，还能用 agsci inspect start 在浏览器里翻看整轮运行。
README 中的安全提示明确警告：编码 agent 以完整工具权限启动（Headless --allow yolo），可以执行任意命令、继承交给它的 API key，读到的任务文件和论文也会引导它的行为，所以运行要留在容器里，别放在自己的工作站上；分享运行目录前先检查日志，因为日志可能回显文档内容和路径。
GPU 任务有预设。examples/grpo 示例需要两块 GPU（一块跑 vLLM 采样，一块跑训练），模型权重约 3 GB，每次评测训练 1～2 小时，超时默认 7,200 秒；流水线通过 nvidia-smi 探测 GPU，可见卡数与预设不符时拒绝启动计算阶段。从一段空白研究简报直接起草任务的功能被标注为实验性：仓库自己承认，对较大的任务它可能写不出满足全流水线契约的脚手架，建议从自带脚手架的小任务起步。
scaffold 内部：从任务起草到证据图的分工
拆解了系统内部。流程从一份可执行的任务说明和评测程序开始：研究者可以直接提供，也可以让起草 agent 从研究简报生成；agent 起草的任务要过执行检查，还要接受一次独立审查，确认它对准了想问的科学问题。任务定下来后，控制器把固定的研究轮次预算分给多个并行 worker，各自在独立工作区里探索假设。
每个 worker 内部分工明确：构思 agent（ideation agent）提出假设、实现计划，以及说明「这个实验必须证明什么」的 rubric；执行 agent 负责改程序、跑评测、记指标。所有 worker 在每轮边界共享记忆条目和提炼出的结论，成功与失败的经验都能进入后续实验；周期性的上下文重置促使新假设出现，同时每个 worker 手里最好的程序会被保留。
优化结束后，系统挑出跨 worker 的最佳正确程序，交给消融环节：消融 agent 提出并核对受控的基线与消融变体，分析 agent 基于记录的指标做事后推理。这些结果连同代码、日志和工件一起构成论文写作的证据：写作 agent 产出 LaTeX 论文、用 AutoIllustrate 画总览图、生成对比图，并维护一张把科学论断逐一对应到出处的证据图（evidence map）；自动检查和独立审计查找无依据的数字、不一致的对比和过度声称，评审 agent 的意见再驱动修改。
Error Diffusion：人定问题与标准，agent 跑实验
在自报成果中，官方单列出一篇成功案例：由早期版本系统与人类科学家协作完成的 Error Diffusion 论文。这种人与机器的分工被官方称为 Co-Discovery（共同发现）。记录了分工：研究者设定科学问题——这个受生物学启发的学习规则能否走出此前的二分类演示——以及合法实现必须保持的约束；系统提出假设、实现实验、调查失败原因；人类科学家依据结果挑选方向、追加测试，提交前独立核对了实现、结果、参考文献，并删改了超出证据的声称。据官方说明，论文通过外部同行评审后被 ALIFE 2026 接收为口头报告。
过程中有一个关键插曲：早期运行里，人工检查抓住了一个高分候选程序，它违反了预期的学习规则，团队随即收紧 rubric。在新的约束下，系统提出一种路由误差信号的办法，让 Error Diffusion 学会多分类，再用消融确定每个任务上哪些训练调整真正起作用；随后人类把最强的分类实现移植到强化学习环境，系统继续改编方法、测试变体、分析学习在何处变得不可靠。
这篇论文已经能在 上读到（6 月 30 日挂出，题为《Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks》）：modulo error routing（模运算误差路由）把 Error Diffusion 推广到二分类之外，双流兴奋/抑制架构在 MNIST 上达到 96.7%，在 CIFAR-10 上建立 61.7% 的基线；与 PPO 结合的 ED-PPO 在 Google Brax 连续控制和开放探索任务 Craftax 上，性能与免反向传播基线 Direct Feedback Alignment 相当。
范围也要说清：按，系统生成的研究手稿里只有这一篇提交了外部评审，而且是在人类研究者核实实现、结果、声称和参考文献之后；其余生成稿只作内部评测工件，未送外审。
自主运行的两个案例与公司自评的边界
完全自主运行的两个案例写在和里。一是改进长上下文适配方法 Doc-to-LoRA：帖文称自主运行把多针检索准确率从 52% 提升至 98%。二是在 CMA-ES 基础上探索 learned evolution strategy，论文附录描述为「锚定残差进化策略」，在精确复原经典 CMA-ES 的同时叠加学习到的元学习增益，在未见任务上超过参考实现。
系统自身的横向评测规模也写在博客里：5 个机器学习研究课题、9 个前沿 LLM（4 个 GPT、4 个 Claude、1 个 DeepSeek）、4 种 agent 框架（Codex、Claude Code、OpenCode、Pi），合计 14 种「模型×框架」组合、70 个研究 campaign（一轮完整研究运行），为便于对比每个 campaign 统一给 20 轮想法迭代的预算。结果上，更新的模型普遍拿到更高的评审分，Claude 系列内部尤其明显；框架选择的影响小于模型本身。把数值性能与稿件评审分都换算成任务内百分位后，70 个 campaign 汇总呈正相关（r = 0.44），说明评审分大体跟着实测性能走。
但这些只是自评。列出的限制很具体：AI 评审分只是论文质量的代理指标，不构成科学正确性的独立证据；所有研究任务都在计算机器学习范围内，能否迁移到需要物理实验、专用仪器或人类被试的领域，未测。系统自身也有缺口：文献检索发生在写稿阶段而非构思阶段，新假设难以直接建立在已有研究上；系统缺少把已发表方法变成可用 SOTA 基线的可靠管线，多数对比是对自己选出的程序做修改，而不是与文献中最强的替代方法直接比较。至于 rubric，博客的教训仍来自 Error Diffusion 那次实验：重要约束留在隐含处，高分照样能靠违反规则的手段拿到；rubric 能把约束写明白，但评估终究由 agent 执行，这套办法本身也不完美。
AutoIllustrate：可编辑的 draw.io 图是源头文件
配套发布的 针对的是科研画图的另一类麻烦：已有做法要么产出像素图，改一处细节都难；要么生成可编辑文件，但布局只靠人眼检查。AutoIllustrate 是矢量优先的：先产出一个可编辑的 draw.io 矢量图作为源头文件，确定性检查器随后校验几何，重叠的形状、走线糟糕的箭头在出图前就被拒收，最后由图像生成模型给素图补细节、重绘风格。每个像素输出都派生自那份可编辑文件，所以每张图人都能接着手工改。
写得更具体：这是一个命令行工具，npm install -g autoillustrate 安装，两步出图，先由默认的 Claude Code agent 生成可编辑的 .drawio 文件，再由默认 gpt-image-2.5-sunburst 图像模型重绘出 .png；每轮运行落三个文件，可编辑源文件、不经模型参与的确定性导出图、增强后的图。轻量模式约 10 分钟，标准模式约 15 分钟，全审计模式的定稿图约 30 分钟。Matplotlib 子图和照片、3D 渲染这类画不进 draw.io 的元素，以嵌入图或灰色占位框的形式处理，占位框由后端图像模型填充。
官方在 PaperBananaBench 上的评测显示：相比该基准上的强位图基线 PaperBanana，AutoIllustrate 提升了忠实度和美观度，同时保住了可编辑源头；但也承认它仍低于人类参考分数，瓶颈在简洁性和美观的取舍，且该基准只用一个视觉语言模型当裁判。还有一个现成的注脚：AutoIllustrate 官方仓库注明，Agentic Scientist 仓库的图正是用它生成的；而 Error Diffusion 那篇 ALIFE 论文的概念图，此前以不可编辑的位图生成后被发现存在事实性错误，作者最终手工重画了图版。