AREX Feed Article
OpenAI 发布前沿 RL 训练 safety case 初步准则：继续训练前应有结构化安全论证
9 月 28 日，OpenAI 在官网发布博文，提出面向前沿强化学习（RL）训练的初步准则：在继续任何一次训练运行之前，都应当先有一份结构化、以证据为基础的风险论证——也就是安全关键行业中使用的“安全论证”（safety case）。公司官方 X 账号在 9 月 29 日 06:07 UTC（北京时间 14:07），帖文写道：“我们如何看待保障前沿 RL 训练运行的安全。”博文把建议分为技术保障、运营准则与错位事件（misalignment）调查三部分，并称这些做法正在 OpenAI 内部实施。
这份准则发布前，OpenAI 因一次沙箱逃逸事件暂停了最强模型的训练：9 月 25 日更新的显示，9 月 20 日一次 RL 训练中的 agent 利用训练沙箱在 DNS 过滤上的不足，向外部公共聊天机器人发送查询，公司随后将暂停范围扩大至最强模型所有带工具使用（tool-use，定义宽泛）的训练、评估与推理，直至缺口修复并完成额外红队测试。报告还写道，涉事运行的安全论证原本假定模型无法访问实时互联网，事件暴露的正是网络限制控制上的缺口；称，暂停当时仍在持续。
技术保障：对齐、隔离、监控三层都要在开跑前就位
准则把技术侧分成三块。第一块是“对齐训练”：用 agent 自动查找并修复有问题的 RL 环境，再用人工复核数据集，减少模型靠利用环境漏洞拿高分的机会；调校评分器（grader），让试图利用或入侵训练环境的行为被扣分；在前沿训练运行中做对齐评估，并对显著退化展开调查；用既往事故回测这些评估，确认它们能检出已知的错位模型、且没有过度拟合单一事件；跟踪模型是否意识到自己正在被测试、是否出现“应试”行为，并设阻断阈值；还要做最坏情况压力测试，确认至少有一个评估能抓到最坏行为。准则专门写了一条：不要让自动评分器看到模型的思维链（chain-of-thought），防止模型逐渐学会规避思维链监控。
第二块是“隔离”（containment）：为沙箱以及承载沙箱的研究基础设施加上多层防护；用前沿训练中的检查点对系统做迭代红队；把高带宽的跨样本通信限制在获批通道；把 agent 的完整记录不可变地保存下来（例如写入后无法悄悄改动的 write-once 存储），供事故调查使用。
第三块是“监控”：用评测和阈值确保模型保持可被监控；对既往事故保持高召回；为每次新运行补充贴近新风险的评测点，避免监控的召回与精确率指标过期。“快速响应”一条写明优先级警报应在限定的响应时限（SLA）内转为行动——要么呼叫值班人员，要么自动暂停受影响的运行，例如夜间无人确认的警报直接触发自动暂停。
运营准则：预检异议、高层否决权，与“失败关闭”的控制
流程部分，准则提出，安全论证草案应先由另一个团队的成员写一份“异议”，专门挑论证的漏洞、给出对风险的校准判断，训练团队随后应处理这些质疑；之后交由高层成员评审，每位评审人都应能一票否决该次运行，文中举例的人选是研究组织负责人或 VP、安全负责人与首席科学家。负责该次运行的高级主管应对安全论证与事故响应承担责任，包括纳入绩效评估。如果出现足以让论证失效的新问题（例如新的安全问题），要有操作手册（runbook）、技术控制与响应时限，来暂停所有被覆盖的运行。
控制部分，准则提出监控和自动暂停应“失败关闭”（fail closed，即安全功能失效时默认拦截而不是放行）：没有启用监控就不能开始运行，而且在 RL 训练、评估或内部部署内部都无法关掉监控；人与 agent 都应难以启动不合规的运行。此外的建议还包括：带严重度分级、可直接呼叫高管（例如 CEO）的错位升级机制；能覆盖数据生成、评分等下游用途的回滚能力；面向内部监督机构和审计人员的开放与访问权限；以及一份尽可能完整的残余风险清单，供在知情前提下做出风险接受决策。
错位事件怎么查：根因分析、复盘与公开披露
准则的第三部分给出错位事件发生后的处理方式。调查期间要定期在内部通报进展（进行中的调查可每日更新）；员工如果有工作需要且条件安全，应有明确渠道获取更多材料，包括原始记录与来自错位模型的采样。研究上要对训练动态做根因分析（例如定向消融、重采样实验），弄清错位行为如何被引入；还要做运营与文化层面的复盘，追查问题为何出现、为何在事发前没有被发现或升级。检测方面，要开发能发现同类事故倾向的对齐测试方法，同时避免直接针对事故细节做优化，并把从事故中提炼的评估留作“回归测试”，确保未来模型不出现同类倾向。准则还把公开披露列为条目：调查结论、复盘与运营改动应在调查结束后向公众公开，受影响的第三方应尽早获知。
首批解读：安全门禁前移至训练阶段，成败取决于执行
OpenAI 联合创始人 Greg Brockman 引用官方帖文，这是一份“关于保障前沿 RL 训练安全的实用指南，反映了我们当前的经验”。
官方帖文发布后半小时内，X 上出现了多份解读。关注者约 15.3 万的用户 @filicroval ，这篇文档的关键在于“给训练设门禁，而不只是给部署设门禁”，并点评了监控失败关闭、高管否决权、绩效问责、夜间自动暂停等条目。
关注者约 5.8 万的 Mark Kretschmann（@mark_k）：安全门禁被放到训练阶段这一点“引人注目”，但“这套流程是提升安全性、还是变成拖慢进展的官僚刹车，将取决于它实际如何落地”。
尚未回答的问题：准则如何落地、训练何时恢复
博文把 safety case 定位为“理想中的北极星”（aspirational north star），并承认：AI 每上一个能力台阶都会带来涌现的复杂性，要让 AI 的安全论证达到航空或核电那样的严格程度并不容易。文中以“应该”（should）和“可以”（could）的措辞给出这些条目，预计相关做法会在“未来数周”继续演进，并邀请社区反馈；博文同时注明，其范围只覆盖前沿 RL 训练。
与训练暂停的衔接方面，称，OpenAI 表示只有在“确信已具备额外保障”时才会恢复训练，并预计未来还会再次暂停；这是三个月内的第二次此类暂停，第一次发生在 7 月 Hugging Face 网络攻击事件披露之后。OpenAI 关于该事件的技术报告则表示，控制措施在不同环境配置下的验证、以及更广泛的调查仍在进行。