AREX Feed Article
Perplexity 发布自蒸馏方法 JOLT：称 MATH 上以 6.5 倍更少训练 token 追平 GRPO，JOLT+ 五项基准全面领先
北京时间 10 月 22 日凌晨 2 时 44 分（UTC 10 月 21 日），Perplexity 官方 X 账号 @perplexity_ai 发布新研究 JOLT：一种后训练（post-training）方法，让同一个模型同时担任教师和学生两个角色，教师经训练给出「学生用得上」的反馈。帖文称，在 MATH 基准上，该方法以 6.5 倍更少的训练 token 达到与 GRPO 相当的准确率（）。
随帖发布的博客《A good teacher meets the student where they are》于 10 月 21 日上线，署名作者为 Perplexity Research 与 NVIDIA（）。同一推文串还写明：覆盖数学、编码、工具使用与终端任务的五项基准上，JOLT+ 全部超过 GRPO，其中 AppWorld 领先 9.9 分（）。这些数字全部出自 Perplexity 自报的实验结果，口径为一家之言。
GRPO 只发一个奖励，自蒸馏教师却会抄近道
博客把问题归结为强化学习后训练的老毛病：模型反复尝试任务，每次尝试拿到一个结果奖励（outcome reward），学会偏向高奖励尝试中的动作；但单个结果奖励是稀疏信号，分不清哪些中间步骤帮了忙、哪些帮了倒忙，在尝试冗长、成功稀少的长程智能体任务上尤其费样本。GRPO（Group Relative Policy Optimization，组相对策略优化）通过把每条轨迹的回报与同组均值比较来估计优势，监督依旧稀疏。
一条已有路线是在线策略蒸馏（On-Policy Distillation，OPD）：让更强的教师模型对学生的自主尝试逐 token 给出引导，把稀疏奖励换成稠密反馈。但博客强调，会解题不等于会教书——解题强的模型，其反馈可能超出学生当前能力。在线策略自蒸馏（On-Policy Self-Distillation，OPSD）于是砍掉独立教师，让同一个模型兼任两角：教师能看到验证解答这类「特权信息」，学生看不到。
博客列出只训学生时教师可能出的三种问题：借特权信息抄学生拿不到的捷径；给学生当前策略下几乎不可能出现的轨迹打高分；在学生生成的前缀出错之后给出不可靠的指引。
JOLT 的解法：教师按「学生能不能接住」计分
JOLT（Joint On-policy Learning and Teaching，联合在线策略学习与教学）在 OPSD 基础上把教师也拉进训练，师生共享同一套参数、联合更新。博客给教师定了条标准，称为「奖励一致性」（reward-consistent）：教师引导学生做出的蒸馏更新，应与学生按自身任务奖励做强化学习的策略梯度方向一致。
落到实现上，教师目标包含两块：奖励项鼓励教师借特权信息把任务做对，KL 惩罚项则把教师的预测拉住、贴着学生当前的动作分布，松紧由系数 β_T 控制；由于学生的后续优势算不出来，实践中用教师自身尝试的中心化回报替代，博客承认这一替代并不精确。教师更新用教师自己生成的尝试，学生更新用学生生成、再由教师打分的尝试。
学生的更新是标准 OPSD：学生先自主生成轨迹，同一模型再带着特权信息逐 token 给这些动作打分，在学生到访的每个状态上惩罚学生与「特权教师」之间的反向 KL——教师偏好的 token 被强化，教师认为更不可能的 token 被抑制。JOLT+ 则再叠加一份学生自己轨迹的中心化结果奖励，把稠密蒸馏信号与直接的结果反馈合并进同一次更新。
五项基准，五种特权信息
实验覆盖五项基准、五个基座模型，教师拿到的特权信息也各不相同：
- GSM8K（小学应用题数据集）：训练 DeepSeek-V2-Lite，教师拿到每题的验证答案。
- MATH：训练 Qwen3-0.6B，教师拿到带完整步骤的参考解答。
- LCBv6：用 LiveCodeBench-V6 的 131 道编程题训练 Qwen3-8B，教师拿到通过了全部训练可见测试的模型生成解答；若没有尝试通过，则拿到执行反馈。
- AppWorld：训练 Qwen3-4B-Instruct，教师拿到以往尝试的摘要。
- Terminal-Bench：用终端智能体训练任务集 TMax 训练 Qwen3-30B-A3B-Instruct，在 Terminal-Bench 2.1 上评测，教师拿到私有的验证器信息。
对照方法为 GRPO、OPSD 与 π-Distill，各方法的超参数均经过调优。π-Distill 与 JOLT 一样在同一模型内联合训练特权教师与学生两个角色，但教师目标不同，学生更新也仍是离线策略（off-policy）——依赖教师生成的轨迹，而非学生自己的生成。
JOLT+ 全线领先，纯 JOLT 有两个例外
按博客口径，JOLT+ 在每一项评测设定中平均分最高，与所测最强基线 GRPO 相比：GSM8K 准确率高 1.5 个百分点，MATH 高 4.2 个百分点，LCBv6 高 3.0 个百分点，AppWorld 状态测试通过率高 9.9 个百分点，Terminal-Bench 2.1 的 pass@1 高 2.7 个百分点。官方图表读数与之吻合：MATH 上 JOLT+ 72.59% 对 GRPO 68.36%，AppWorld 上 72.09% 对 62.20%。
但「五项全胜」只属于叠加学生结果奖励的 JOLT+。不带这份奖励的纯 JOLT 在 GSM8K、MATH、LCBv6 上平均准确率高于 GRPO，在 AppWorld 上却同时低于 GRPO 和 π-Distill；在时程最长的 Terminal-Bench 2.1 上，纯 JOLT 高于基座模型和两个蒸馏基线，但始终低于 GRPO。OPSD 在 Terminal-Bench 2.1 的每个 k 上都低于基座模型。JOLT+ 在所有报告的 k 上 pass@k 最高，从 pass@1 的 10.96% 到 pass@32 的 34.83%。
6.5 倍是怎么算出来的
token 效率实验只在 MATH 上做，比较 GRPO、OPSD 与 JOLT 三条学习曲线，成本口径是「处理过的训练 token」（processed training tokens）：每条未填充的 prompt、特权上下文、每轮优化、师生之间的交叉打分都计入。在 63.44% 的相同准确率上，GRPO 实测检查点花掉 840 万 token，JOLT 的拟合曲线只需 130 万——8.40 除以 1.30 约为 6.5，即帖文所说的 6.5 倍。
换成只计补全 token（completion tokens）的窄口径——GRPO 与 OPSD 只算学生补全，JOLT 把教师补全也算进去，但不计 prompt、特权上下文和额外优化过程——同一准确率下的差距拉大到约 13 倍；跨一段目标准确率区间，JOLT 用 9.5～14.4 倍更少的补全 token、4.3～7.4 倍更少的处理 token。曲线形态各有分工：JOLT 早期样本效率最高、最终在约 72% 附近走平；OPSD 爬得快但停在约 62%；GRPO 起步慢、后劲更长，爬到约 70%。博客沿用既有强化学习算力缩放研究的做法，以 sigmoid 曲线拟合准确率与对数 token 预算的关系；图中误差线为多次运行的正负一个标准差。
回复区的追问与「即将开源」的承诺
在可见的回复中，多人追问的是同一件事：这套收益能不能走出 MATH。用户 0xwolverines 把细账读得很准——6.5 倍来自最小的 Qwen3-0.6B 在 MATH 上的实验，纯 JOLT 在 Terminal-Bench 2.1 上仍落后 GRPO，只有 JOLT+ 领先，并追问 token 节省能否在 30B-A3B 的终端任务上延续（）。用户 swordBluesy 问得更直接：教师无法验证答案、反馈会变得嘈杂的代码或开放式任务上，这个数字还成立吗（）。
博客在结尾交代了后续安排：读者可去读完整论文，代码承诺「很快开源」；作者还留了一个方向——让教师同时学着生成训练任务，用学生的学习进度调整任务难度，做成课程式（curriculum）训练。开源代码是官方给出的下一个可检验节点。