AREX Feed Article
阿里 Qwen 发布 QwenGyre：面向超长时程 agent 训练的弹性强化学习系统，官方称较 Colocate 提速至多 1.85 倍
2026 年 10 月 12 日 21:11（北京时间），阿里巴巴 Qwen 官方 X 账号，一个面向超长时程（xLong）agent 训练的弹性强化学习系统。帖文列出两项核心设计：Elastic Scheduler（弹性调度器）在推理采样（rollout）与训练之间随需求实时重分配 GPU、不中断执行中的任务，官方称较 Colocate 基线提速至多 1.85 倍、较 Async 提速 1.78 倍；Trajectory Processor（轨迹处理器）把压缩、子 agent、重试造成的分支执行折叠为前缀共享的轨迹树，超时后的部分进展仍可计分。
帖子附，2026 年 9 月 27 日提交，12 位作者来自阿里巴巴集团 Alibaba Token Hub，以及中国科学技术大学、清华大学。按论文设定扩展到旗舰模型 Qwen3.8-2.4T-A95B（论文正文写作 Qwen 3.8 2.4T）、单次 rollout 约 70 万 token 时，官方称 48 步训练把 NL2RepoBench 从 52.5% 提到 58.5%，端到端训练时间较 Async 缩短约 44%。上述性能数字均出自 Qwen 团队自报结果。
图源： 第 1 页图 1
超长时程执行让两种调度基线都出现 GPU 空转
把 xLong 任务定义为单次执行持续数小时、包含数百次模型—环境交互、累计处理近 100 万 token 的工作负载；由于每次请求都要重复携带上下文，整个生命周期的 token 量可能超过单次请求的上下文上限。
这类执行直接冲击组相对（group-relative）强化学习管线：实验中每个 query（任务请求）的 16 条独立执行组成一组，组内相对优势要等全部奖励到齐，一个拖尾执行就会推迟整组训练；而超时预算相近的执行又常在同一时间窗内集中结束，让推理需求骤降。
论文比较的两种调度基线各有空转点：Async 给推理和训练分配固定 GPU 池、允许两段重叠，但执行陆续结束时，训练空闲也用不上推理侧的闲置算力；Colocate 让两段共享同一 GPU 池轮换使用，但整池一起切换，训练必须等推理长尾跑完才能开始。
调度之外，harness 本身是另一层约束。QwenGyre 面向的是不做改动的黑盒 harness——即管理任务状态、按模型输出调用工具并构建后续上下文的执行框架。论文点名 Claude Code、Codex 这类能力最强、闭源且快速演进的 harness，把它们的控制流重新实现进 RL 框架既不现实，也会让训练与部署用的 harness 不一致；而黑盒接口没有中断再恢复执行的机制，一旦模型调用无法被服务，harness 可能停摆或超时，任务结果就会因与策略无关的原因改变。论文由此提出要求：调度必须让执行全程保持推理可用。
Elastic Scheduler：GPU 在推理与训练之间按水位流动
调度器把集群组织成 K 个可独立切换的弹性单元（cell）：训练用 Megatron，推理用 SGLang；核心单元（core）持有权威权重、是唯一的优化器持有者，其余为卫星单元（satellite），另可选配专职推理的独立池。一个单元能否转入训练由「水位」决定：已派发、未完成的执行数必须能被剩余推理容量接住，同时已就绪、未分配的组数要连续 τ 时长覆盖批量的 ρ_min 比例；转入后在整个 burst（两次权重发布之间的 μ 步连续训练）里保持训练角色，按核心在先、卫星在后的顺序逐个切换。
卫星单元加入的是进行中的训练批次：核心单元把权威权重经 Mooncake Transfer Engine 暴露出来，卫星通过 RDMA 拉取当前权重后即可开训，不打断核心；梯度累积期间权重固定，加入窗口在优化器更新前关闭。
对正在执行的任务，角色切换由代理层完成：模型调用被重路由到新单元，harness、工作区与工具执行状态原地不动，论文在 4.3 节列出请求重路由、KV-cache 迁移、角色状态管理三项机制来保持执行连续。在 Qwen 3.6 122B 的 NL2RepoBench 实验中，实测推理转训练平均 8.52 秒、训练转推理平均 3.46 秒，相对以小时计的单次执行可以忽略。
Trajectory Processor：把分支执行折叠成轨迹树，超时也结算部分得分
数据侧的底层是 TITO（token-in, token-out，按原始 token 记录输入与输出）记录：黑盒代理为每次模型调用保留精确的输入、输出 token ID，输出 token 的行为日志概率和元数据，并按调用 ID 缓存原始工具调用载荷，避免 harness 重新排版工具调用导致的历史错配；即便后续压缩把某段上下文从 harness 历史里删掉，每条输出仍保留它生成时的原始条件上下文。
每次执行的记录被组织成一棵轨迹树：新请求的序列化上下文匹配到已有路径就复用存储的 token，只在分叉处生成分支；压缩和子 agent 调用带来的不同上下文路径由此收进同一棵树，树的叶子对应候选训练轨迹。
计分环节：执行终止（包括超时）后，QwenGyre 按任务的评分规则评估已保留的工作，未完成的执行只要已完成部分可评估，就能拿到有效分数；奖励不从耗时、轨迹长度或终止状态派生。评估器失败可以重试，整体时间预算耗尽仍无有效奖励才把该执行排除出训练；「评估未决」与「有效零分」被明确区分，完全失败（如镜像拉取失败）则插入一条零奖励占位轨迹。
入库前的采样把每条执行限制为至多 5 条训练轨迹（J_max=5），按角色优先级依次抽取——对 Claude Code 类 harness 依次是主 agent 任务轨迹、主 agent 摘要轨迹、子 agent 轨迹、子 agent 摘要轨迹；被抽中的轨迹固定自己的训练目标后，其根到叶整条路径被掩蔽，共享前缀因此最多被训练一次。系统提示、用户提示、工具结果这类非策略生成的 token 只作条件上下文、不携带训练信号；共享目标只计一次，损失在执行内部取平均，避免路径多的执行被过度加权。
三个工作负载上的自报基准
实验用了三个工作负载：NL2RepoBench（从自然语言规格构建软件仓库，训练时由独立的 Qwen 3.7-Max 评估器按独立编写的测试给生成的代码打分）、DeepSWE（在既有仓库里做软件工程）和 TerminalBench（多轮终端任务），三者都用 Claude Code 2.1.220 在容器环境中执行 shell 命令、操作文件。RL 算法是 GSPO（Group Sequence Policy Optimization，组序列策略优化）的改造版：token 级重要性加权加执行级裁剪，重要性权重上限 5，序列级裁剪区间 [0.995, 1.005]；NL2RepoBench 每次更新消耗 32 个组。
硬件随模型扩容：Qwen 3.6 122B 的 NL2RepoBench 实验用 32 节点、默认 8 个 4 节点单元，单单元推理并发上限 144；Qwen 3.8 2.4T 用 4 个 48 节点单元，总推理并发上限 384。
自报的端到端结果集中在 Qwen 3.8 2.4T 的 NL2RepoBench：跑完 48 步训练，QwenGyre 用 75.42 小时，Async 用 134.55 小时、Colocate 用 91.47 小时，对应 1.78 倍和 1.21 倍提速——推文所称「较 Async 缩短约 44%」与这组小时数吻合：(134.55−75.42)÷134.55 ≈ 44%。评测通过率从 52.48% 升到 58.54%，绝对提升 6.0 个百分点。这一设定下的负载更长：有完整时长记录的 query 中 61.1% 跑满至少 4 小时，其中 38.2% 的最长执行以整体超时告终。
在 Qwen 3.6 122B 上，论文报告 48 步后对 Async 提速 1.42～1.53 倍、对 Colocate 提速 1.36～1.47 倍（两个调度陈旧度（staleness）目标下），训练得分曲线与基线相当；此设定下单条执行平均 1.93 小时、单个 query 平均 2.96 小时，9.51% 的 query 至少跑 4 小时，6.25% 的执行触发 harness 超时——这些超时执行仍在计分和训练之列。结论段汇总的跨配置区间是：对 Async 提速 1.38～1.78 倍，对 Colocate 提速 1.21～1.85 倍，同时训练得分与基线持平。
论文写明的边界，与尚未独立的数字
论文第 8 节写明两类限制。一是 GPU 预算与单元粒度：弹性调度需要多个可独立切换的单元，每个单元要装下模型的显存和并行度需求，很小的 GPU 预算可能撑不起这种组织；在 32 节点预算内把 8 个 4 节点单元并为 4 个 8 节点单元只增加 2.2% 执行时间，但「总预算小得多时的效率仍未评估」。二是流式训练的打乱限制：一个 burst 含多步时，就绪组被增量分配给各次更新，无法在 burst 开始前对全部小批次做全局 shuffle；依赖全局随机小批次的训练流程会受约束。改用单步 burst 可回避拆分，但比默认配置慢 10.9%，对启用流式训练的 Async、Colocate 仍保持 1.24 倍和 1.08 倍提速。论文同时注明，样本顺序对学习质量的影响「尚未被单独测量」。
发布节奏上，论文 9 月 27 日提交 arXiv，官方账号的宣布晚了 15 天；截至发稿，这篇帖文获得 2,232 次点赞、112,879 次浏览和 900 次收藏。这些自报数字目前只有论文一方的测量，本报道所依据的公开材料中还没有第三方在同等条件下的独立复现或评测。