MIT CSAIL 新论文:在 harness 中训练短任务,LLM 系统能解 2~64 倍长的未见任务
北京时间 11 月 20 日 21 时 42 分,MIT CSAIL 的 alex zhang 在 X 上宣布,他与 Souradip Chakraborty、Omar Khattab 合作的论文《Language Model Harnesses Can Be Compositional Generalizers》已在 alphaXiv 发布。作者在推文中称,论文全文、日志、代码库与数据均已开放,论文脚注还给出了存放在 Hugging Face 上的合成训练数据集。截至发稿,这篇标注为 alphaXiv Exclusive 的论文被 alphaXiv 标为趋势榜第一,宣布推文获得约 11.4 万次浏览、1,100 多次点赞和 1,300 多次收藏。
论文标题页署名 Alex L. Zhang、Souradip Chakraborty 与 Omar Khattab,三人均属 MIT CSAIL。其核心主张是:harness——夹在外部环境与神经网络之间的那层程序——本身可以成为「组合泛化器」。摘要报告了三组结果:用强化学习在递归语言模型(Recursive Language Model,RLM)这类 harness 中只训练短任务,系统能解出长度为训练任务 2~64 倍的未见任务,而裸 Transformer 的提升有限;训练一个域可迁移到共享潜在结构的陌生域;对 rollout 时间极长的任务,可以用「假工具调用 + 假子代理」的纯合成环境只训练单次 LLM 调用(surrogate harness training),由此得到的 RLM-27B 在八个长上下文基准上比同一 harness 里的 Qwen3.8-27B 平均高 26.9%,推理 token 用量约省一半。作者同时在推文中反驳了「LLM 会吸收 harness、使其过时」的流行观点,认为 harness 的潜力尚未被充分探索。
只在短任务上训练,长任务评测跟着训练奖励走
第一组实验针对长度泛化。论文在六个可调上下文长度的环境中,只用短版本训练 Qwen3-30B-A3B-Instruct-2507(GRPO,组相对策略优化),再在长版本上评测:MRCRv2 从 3.2 万~6.4 万 token 的双针设置训到 200 万~400 万 token 的八针设置(表中标注 64 倍),GraphWalks 从不超过 12.8 万 token 到 25.6 万~100 万 token(2~8 倍),LongBench-Pro 与 OOLONG 都是 3.2 万 → 25.6 万 token(8 倍),OOLONG-Pairs 是 8k → 32k(4 倍),Ada-LEval 是 8k → 128k(16 倍)。论文图 3 显示:RLM 在长任务上的评测奖励紧跟着它在短任务上的训练奖励走势,而裸 Transformer(加 YaRN 外推)虽然短任务训练奖励常常更高,长任务评测却几乎不动——学到的策略没有外推出训练长度。对评测划分装不进上下文窗口的设置,作者给裸 Transformer 应用了 YaRN 长度扩展。
作者的解释是:harness 把任务特异的信息推迟到子调用里,根 LM 在长任务上看到的轨迹与训练期成功轨迹高度相似,于是「更长的任务被当作局部同分布来对待」。博客版本补充了两个细节:这种泛化并不保证——RLM 有时会把整个问题塞给一次子调用,等价于退回长上下文基线,MRCRv2 上就需要一句「提示分解」的用户消息才能收敛到可泛化的解;在能直接写代码解决的任务上,CodeAct 这类程序化 harness 同样泛化得不错,但在没有清晰程序化解法、需要跨大量子任务密集推理的 OOLONG 类任务上就吃力了。
策略层面的迁移同样成立。论文选了三组「表面 token 完全不同、底层策略相同」的训练-评测对:OOLONG 上用 Jeopardy trec 问题的聚合任务训练、spam 问题的聚合任务评测;OBLIQ-Bench 上从「找出同一作者的文章」训练、「找出走相同推理过程的数学题」评测;以及从 Twitter 立场检索训练、Wildchat 对话错误检索评测。博客的曲线显示,RLM 在这些完全不同的域上评测分数持续上升,而裸 Transformer 的训练奖励虽高,提升基本只来自学会答题格式。
LID:让每一次 LLM 调用都留在分布内
论文对问题的诊断写在第二节:ReAct 这类「trajectory-as-a-prompt」harness 维护一条只增不改的上下文,每轮都把越来越臃肿、越来越偏离训练分布的历史喂给模型,出现「context rot」退化。作者的假设(与他们的 Mismanaged Geniuses Hypothesis 一脉相承)是:合适的 harness 能把整体分布外的任务,转换成一组局部同分布(locally in-distribution,LID)的 LM 计算。作者在推文串中强调,这不是「多叫几个子代理」那么简单——连编排子代理的 LM 自己都会在长会话中跑出分布,这正是长期编码 agent 会话的常见问题。
RLM 靠两个组件实现这一点:context offloading,把完整上下文作为符号变量放进外部 REPL(交互式代码环境),根模型不直接看到它;programmatic sub-agent calling,工具与子代理都是 REPL 里的函数,中间结果存进变量、在调用之间传递,根模型始终不必亲眼看。论文脚注承认 LID 是口语化定义——不指模型逐条见过这些输入,而是指「模型能合理响应的输入」。支持这一解释的证据是相关性式的:长任务上的根轨迹与训练期成功轨迹高度相似,评测任务的子任务难度与训练任务相当;论文没有给出「分布内」的形式化统计检验。
背景方面,RLM 由同一团队与 Tim Kraska 在论文 《Recursive Language Models》中提出,本篇论文引用它作为「依赖 context offloading 与 programmatic sub-agent calling 的 harness 类」的定义来源,并把 CodeAct 实现为去掉子调用与输出截断的消融版本(LM + REPL)。训练设置上有一个关键细节:RLM 只对根轨迹施加损失,不设子调用委派奖励——论文称这一做法与 Recursive Agent Optimization 一线的训练方式相近。
假工具与假子代理:不跑长 rollout 也能定向训练
真实的长任务没有「更容易的真实版本」可拿来训练。作者在推文串中给出的动机是:有些任务 rollout 要跑好几天、奖励稀疏,直接对整条 harness 轨迹做 RL 几乎不可行。surrogate harness training 的思路是绕开完整 rollout,只训练 harness 中某个单独的 LM 调用——构造一个「假」环境,复现它在真实任务中会观察到的东西。
具体做法(论文 §4.2)是:把与评测分离的公开数据划分、外加基座模型已有的若干 RLM 轨迹,交给在 Claude Code 里运行的 Opus 5.5,让它先找出一个有望用 Qwen3.8-27B 解出任务的候选 LM 程序(解法骨架),再据此构造上下文与真实任务零重叠的合成环境,使同一个程序既能解合成任务也能解真实任务;作者在推文中称部分任务带假子调用,论文写明其中 BrowseComp-Plus、ExpertLongBench、OBLIQ-Bench 三族的子调用直接替换成针对合成子任务的预置 oracle 答案。生成轨迹时,把候选程序作为提示交给 RLM,用 GPT-5-mini 充当裁判、结合合成环境奖励决定是否采纳;最终在八个覆盖检索、排序、稠密 MapReduce 式分解策略的合成环境中生成 8,015 条仅含根调用的轨迹和 1,465 条 LongReason 子代理轨迹,对 Qwen3.8-27B 做监督微调(SFT),得到 RLM-27B。
评测在八个留出基准上进行:LongReason、LooGLE-v2、CTC-Bench、BrowseComp-Plus、OOLONG-Real、CorpusQA、OBLIQ-Bench、ExpertLongBench,按八基准等权取平均。同一 RLM harness 下,Qwen3.8-27B 直接放进去平均 46.1 分,经合成数据 SFT 的 RLM-27B 得 58.5 分——差 12.4 分;作为对照,对同一模型做短任务 RL 只到 48.5 分,对合成环境直接做 RL 到 52.9 分(后者提升八个任务中的七个、平均涨 6.8 分,但没有带来效率收益)。同一张表还把 harness 与训练的贡献分开:放进 RLM harness 本身就把 Qwen3.8-27B 的平均分从裸 Transformer 的 30.5 拉到 46.1;而较弱的 Qwen3-30B-A3B-Instruct-2507 方向相反,裸 Transformer 22.6 分,RLM 基线只有 15.3 分。效率方面,论文报告 RLM-27B 更倾向委派,根轨迹轮次约为基线的三分之一、根输入 token 约为六分之一;这些数字以 token 与轮次计,不涉及时延或总算力。
递归调用:把学过的解题器变成可复用组件
论文最后一组实验回到 RLM 的名字来源。作者在推文串中解释,当 harness 被当作一个「模型」递归调用时——RLM 之名即由此而来——已被证明可泛化的分解本身也能被组合:RLM-27B 解完一个任务后,可以再启动一个全新上下文的子 RLM 去解下一个。
实验构造是:从 87 个 RLM-27B 能稳定解出(三次采样平均正确率 97.5%)而 Qwen3.8-27B 不能稳定解出(57.7%)的任务中,随机抽四个排成一条链;harness 必须解出当前任务,才能通过 unlock(answer) 工具拿到下一任务的题面,每个任务最多两次机会,结果在 2,000 条随机采样的链上平均。默认情况下 RLM-27B 把四个任务放在同一条根轨迹里顺序解,解出率 55.2%(±2.2);用递归专用(depth=3)的合成数据再补一轮 SFT 后,模型学会逐任务启动独立的子 harness 实例,解出率升到 77.5%(±1.8)——论文的解释是递归把泛化压力从根 LM 身上卸掉了。只在提示里要求尾递归而不训练,解出率反而压到 47.2%(±2.2)。alphaXiv 页面的实验概览提醒,这属于构造设定下的结果,并非「递归总是有益」的一般保证。
作者反驳「LLM 会吸收 harness」论,同行追问假工具保真度
推文里作者直接点名了他反对的观点:「一个常见的说法是 LLM 会吸收 harness、使其过时。我们不同意,我们认为 harness 能提供什么还远未被充分探索。」他在后续推文中补充:harness 未必是 SWE-Agent、Claude Code 这种复杂脚手架——「一个只会调用 LM 蜂群的语言模型也是 harness」;他还写道,论文里的很多想法正是当年启发 RLM 的动机(只是发布顺序倒了过来),并好奇会不会出现「因为模型曾围绕它们训练而远超常规预期」的更怪 harness 设计。
公开回复中,X 简介自称为 Amazon Science 高级科学家的 Mononito Goswami 称其团队近期工作 Hermes 探索过类似想法,训练一个简单可配置的 harness 也能在测试时泛化,并附上论文链接;Kuldeep Pisda 追问假工具输出能否做得像真实输出一样「脏」,认为 surrogate training「成败在此」;Cameron Peterson 则站在作者一边:「每次模型发布都有人说模型会吃掉 harness,但一直没发生。」
论文致谢列出 NSF 研究生研究奖学金计划(Grant No. 2141064)、Laude Institute 的 Residency 与 Slingshot 项目、Prime Intellect 以及 Thinking Machines Lab Grant 的支持,并感谢 Jayden Teoh 审阅论文。作者在致谢推文中称 Omar Khattab 是自己的导师;实验基础设施则在另一条推文中说明,主要基于 Prime Intellect 的 prime-rl 与 verifiers。
论文自己标出的边界
论文明确指出,RL 学到的 harness 行为不必然可组合:对较弱初始化的 Qwen3-30B-A3B-Instruct-2507,短任务 RL 平均只提升 7 分,且学会的是少委派、多写程序化解法;对更强的 Qwen3.8-27B 只提升 2.4 分、token 用量不降反升——RL 训练的结果高度依赖初始策略。LID 也只是解释性框架,脚注承认这是口语化用法。博客版本给出成本数据:由于每步要等子调用,RLM 训练的运行时间是训练裸 Transformer 的 1.5~3 倍,只是这部分成本随任务变长而摊薄。
再往前一步的问题也没有完全解决:论文附录 A.4.3 检验了更大的任务套件,发现其中学到的轨迹向评测套件的组合泛化同样偏弱;alphaXiv 页面的实验概览据此指出,surrogate 训练在这八个构造任务族之外的迁移尚未被确立。
参考链接
- alex zhang 的论文发布推文(X,2026-11-20)
- 论文页面:Language Model Harnesses Can Be Compositional Generalizers(alphaXiv)
- 作者博客:Language model harnesses are compositional generalizers
- 合成 SFT 轨迹数据集(Hugging Face)
- 推文串:trajectory-as-a-prompt 的问题(X)
- 推文串:surrogate harness training 的动机(X)
- 推文串:surrogate 训练结果与 Opus 5.5 生成任务(X)
- 推文串:递归调用与 RLM 名字由来(X)
- 推文串:作者对 harness 定位的补充说明(X)
- 致谢推文:合作者与导师(X)
- 推文:算力支持与实验基础设施(X)
- RLM 前作:Recursive Language Models(arXiv 2512.24601)
- Mononito Goswami 的回复:Hermes 相关工作(X)
- Kuldeep Pisda 的追问:假工具输出的保真度(X)
- Cameron Peterson 的回复(X)
- prime-rl 代码库(GitHub)