AREX Feed Article
OpenAI 报告：模型越强思维链越难监控，仅用长度限制和最终答案判分的 RL 就会提升 CoT 可控性
OpenAI 研究员 Jeffrey Wang 于北京时间 11 月 12 日凌晨 2 时 17 分（UTC 11 月 11 日 18 时 17 分）在 X 上，宣布 OpenAI 的新研究：随预训练模型变强，模型不做思维链（chain-of-thought，CoT）、单次前向推理就能解题的能力平滑上升；而在只保留长度限制和最终答案判分、对推理文本不加任何其他过程监督的强化学习（RL）中，模型的 CoT 可控性——按要求操纵自己推理文本的能力——也会大幅上升。30 分钟后，（约 553 万粉丝）转发了这条线程；转发内容与原帖一致，等于把研究员的个人发布确认为公司层面的正式发布。
Wang 把结论概括为「不出意料但令人清醒」：随着我们向更智能的系统扩展，「模型正变得越来越难以通过思维链监控」。研究以《》为题发布在 OpenAI Alignment 研究博客，页面标注日期为 2026 年 11 月 10 日，标题卡显示由 Jeffrey G. Wang、Aiden Low、Zora Che、Holden Mui、Harshit Sikchi 五人共同一作，Micah Carroll、Ben Sokolowsky、Katherine Lee、Jakub Pachocki 四人为共同顾问。报告列出四项发现，分别关于预训练、架构、RL 和模型生成数据；文中实验数据均为 OpenAI 自述口径。线程的十条推文都没有附外部链接，首帖只带一张报告标题卡；截至发稿，首帖获得 1,109 个赞、660 次收藏、155 次转发和约 15.1 万次浏览，98 条回复中多位研究者提出了技术性问题。
监控靠思维链，研究盯住两个代理指标
OpenAI 在报告开篇解释了研究动机：思维链通常包含模型意图和不当行为计划的信息，CoT 监控是 OpenAI 可扩展监督策略的关键组成部分；在网络安全等关键部署场景，公司会监控包括 CoT 在内的模型完整轨迹。自推理模型出现以来，CoT 可监控性总体一直很高，直到 GPT-6 Astra：据报告，OpenAI 在这个模型上观察到非对抗条件下 CoT 可监控性退化、对抗测试下监控规避（monitor evasion）能力更强、无 CoT 能力明显高于此前模型。研究要回答的问题是，前沿训练管线里的哪些选择推动了这些变化。
报告跟踪两个代理指标，并称之为衡量最坏情形监控规避能力的不完美代理。第一个是 no-CoT capability（无思维链推理能力）：模型在一次前向推理中、不生成任何 CoT 或工具调用 token 时的推理能力。报告的逻辑是，潜在推理能力更强的模型完成任务所需 token 更少，因而更有能力操纵自己写下的 token。第二个是 CoT controllability（思维链可控性，下称「可控性」），沿用 Chen Yueh-Han 等人发表于 ICML 2026 的评测，测模型在被要求增加、删除或操纵 CoT token 时能否照做。指令相当具体，报告附录列出五类：在思维链每句末尾加「safe」、每个词之间插入「meow」、全部小写、全部大写、每个字母交替大小写；得分大致是思维链中遵循指令部分所占的比例。
预训练：无 CoT 能力随困惑度平滑上升，架构只改变斜率
第一项发现关于预训练。团队在四个无 CoT 基准上评估一组内部与已发布的前沿模型，包括公开的 NCRI 与 Think Fast、内部无 CoT 规划评测和内部无 CoT 数学评测，覆盖从 GPT-5（2025 年 8 月）到最新 Astra-class（2026 年 9 月）的模型。OpenAI 衡量内部预训练进展的主要指标是高质量留存数据上的 test loss，即困惑度（perplexity）的对数；结果显示，无 CoT 能力是困惑度下降的平滑函数、两者高度相关，这一关系在多数评测中跨架构成立。更低的困惑度与更高的可控性之间也存在相关，但更弱。
一个此前的反常数字在这里得到解释。报告援引 UK AISI（英国 AI 安全研究所）的外部评估：GPT-6 Astra 在关闭推理状态下、以数学题衡量的无 CoT 能力偏离了历史进展趋势，测得的 50% 时程（估计模型成功率达到 50% 时对应的人类任务时长）为 30.9 分钟，而此前一项研究的预测是到 2028 年底才约 7 分钟；UK AISI 同时提示，该估计可能因数据污染而偏高。但按困惑度衡量，报告称 GPT-6 Astra 并不在趋势之外。报告还注明，这些无 CoT 测试用的是关闭推理的 GPT-6 Astra 版本，不属于公开发布配置。
架构方面，团队对比三种架构的三个预训练系列：多数无 CoT 评测中，困惑度跨架构具有预测力；但在多跳规划和串行计算类问题上，某些架构（报告中的 Architecture 2）的表现超出困惑度所能预测的水平，不过性能仍随困惑度平滑上升，只是斜率更陡。OpenAI 称，正与安全研究者合作，尝试建立预训练决策如何塑造下游安全风险的科学。
RL：不加过程监督，可控性照样大幅上升
RL 部分回答的是另一个问题：可控性上升会不会来自对推理过程的监督。OpenAI 在最新的 Astra-class 模型（model A）上运行了一套刻意简化的 RL 配置：任务数据全部可在无工具条件下解出；模型只有 CoT 草稿板和输出最终答案两项「工具」；判分器只能看到任务提示与最终答案；奖励只包含正确性与指令遵循。结果，即便除长度限制和最终答案判分之外没有任何过程监督，可控性仍随累积 RL 计算量大幅上升，这同时出现在原版可控性评测和一个为 Astra-class 专门设计的内部数学评测上，后者对模型而言 CoT 是解题必需。
奖励压力是第一个被排除的解释。直接对 CoT 施加奖励压力可能造成这种上升，但 OpenAI 称其原则上不这样做，并做了双重核查：自 2026 年 2 月起，公司对所有 RL 运行自动扫描意外 CoT 判分；在 Astra 的高可控性结果出现后，又专门检查了 RL 中是否存在直接的 CoT 奖励压力，结论是没有。
工具监督的作用有限。在 Terra-scale 模型（model B）上的对照实验中，加入终端与浏览器工具、并让判分器能读取工具输入输出的版本（model B2）只带来轻微上升；报告的判断是，完整工具过程监督的效果「与降低模型困惑度相比很小」。两个边界条件值得留意：这些实验用的是 Astra RL 数据的子集，未能完全分离困惑度与过程监督各自的效应；OpenAI 在困惑度更差的更早内部模型上做初期实验时，并没有观察到这种可控性上升。
可控性能通过模型生成的数据传给下一代
第四项发现关乎代际传递。OpenAI 选了两个下游能力接近、可控性不同的 Astra-class 教师模型，用同样的固定提示分布和 token 预算收集两者的 rollout（教师模型按固定提示生成的推理样本），再分别对同一个 Astra-class 基座模型做 SFT（监督微调）。结论：可控性可以被蒸馏，用更可控的教师训练出的学生也更可控，SFT 后的学生在同等测试时计算预算下保持住教师的可控性差距。
报告称这一效应与此前的「subliminal learning」研究相呼应，即模型生成的数据可以通过隐性信号传递行为特征；这意味着上一代模型的训练选择会经由模型生成数据影响下一代。回复区里，AI 政策研究者 写道，这「相当出乎我的意料」，并追问机制：从图 6 看，它似乎不由能力介导。
OpenAI 自己的限定：可控性是「噪声很大的代理」
冷水来自作者自己。线程最后一帖与报告附录 B 处理同一个问题：可控性升高是否等于更会规避监控？在这对能力相近、可控性不同的教师模型上，OpenAI 用两类监控规避评测检验，即数学夹带任务的监控规避（Math Side-tasking Monitor Evasion）和能力藏拙（Capability Sandbagging）。结果是，两个模型的规避表现要么无法区分，要么可控性更低的一方反而规避得更多。Wang 在写道：对这对能力相近的模型，「我们没有看到 CoT 可控性与监控规避之间的有意义关联」，可控性是「对抗性可监控性的一个噪声很大的代理」。
他在时进一步区分：这些代理衡量的是监控规避的某种能力，而非倾向——倾向来自模型本身不对齐；从这个意义上说，它们是必要成分。报告还注明，监控规避方面的发现主要来自明确指示模型规避监控的对抗性评估；OpenAI 自己的对齐评估显示 Astra 违反安全限制的可能性低于上一代 GPT-5.6 Sol，也未发现 Astra 能在无指引的情况下规避对复杂破坏与夹带任务的全程监控。
追问：规避会不会跟着可控性一起涨
回复区的技术问题集中在机制。宾夕法尼亚大学博士生 问：奖励里是否加了 CoT 忠实性（faithfulness）项？如果没有，要如何解释可控性的大幅上升。加州理工学院数学与计算机博士生 点出一个反常：可控性在并未直接奖励推理文本的情况下上升；他追问，是否在蒸馏出的学生模型上也测过规避。X 用户 的三个问题更进一步：随 RL 计算量上升的是规避本身还是只有可控性？可控性若能蒸馏，会不会在基于前代输出的逐代训练中叠加？代理指标恶化到什么水平会改变部署决策？
公司层面的回应写在报告结尾：自 GPT-6 Astra 起，监控规避能力已被纳入 OpenAI 安全案例（safety cases）的跟踪范围，覆盖前沿 RL 运行与部署前审查；鉴于这些结果，「我们预计预训练的进一步进展将需要新的监控方法」。团队正在迭代可控性评测、扩充对抗与非对抗两类监控评测。Wang 在线程结尾留下的仍是开放项：更好地理解最坏情形可监控性的前兆——可控性分数与真实规避行为之间的关联，正是这项研究自己标注出的未解一环。