OpenAI 公开模型全生命周期安全方法:三阶段各设安全评审,能力越强标准越高
北京时间 11 月 19 日凌晨 5 点 26 分(11 月 18 日 21:26,UTC),OpenAI 官方 X 账号发帖宣布,正在分享公司如何在模型生命周期(model lifecycle)的每个阶段贯彻安全——从早期研究、内部使用到公开部署。这条帖文正文没有附任何链接;与之对应的是 OpenAI 当天发布的文章《Managing frontier AI risk: From training to deployment》(管理前沿 AI 风险:从训练到部署)。文章把一个前沿模型从训练到上线的全过程拆成研究(research)、内部部署(internal deployment)、外部部署(external deployment)三个阶段,并写明:每个阶段都要对模型和防护措施分别评估,通过安全评审才能进入下一阶段。
文章将防护组织为四层——模型对齐、安全与沙箱、拦截防护、监测与响应。文中对各阶段做法的描述均为 OpenAI 单方口径,发布本身只证明公司作出了这些陈述;OpenAI 研究员 Kai 的预告帖则提前给出了这篇文章的直接链接。
(头图来源:OpenAI 官网 Safety 页面)
帖文之外:研究员提前 80 分钟预告了这份汇总
11 月 18 日 20:07(UTC),账号简介显示 Currently research @OpenAI 的研究员 Kai(@kaicathyc)发帖称:「至少可以说,过去几个月发生了很多事。」他说当天正在分享一份回顾(recap),讲清前沿模型从训练、内部使用到公开发布各需要什么,并附上《Managing frontier AI risk》的链接。OpenAI 官方账号的帖文在约 80 分钟后发出,表述与这份材料一致。
Kai 的帖子逐条列出这四层防护,并说明这篇文章「汇集了公司各部门的工作」,附上近期研究、技术工作和事故报告的链接。这份汇总的发布时间,落在 OpenAI 于 11 月 17 日在官方账号宣布 GPT-6.2 Astra 和 Sol 两款模型上线之后约一天。
三个阶段、一道评审:达标才能往前走
文章把模型的开发与部署分为三个阶段:研究阶段,模型在沙箱环境中训练、测试和使用;内部部署阶段,OpenAI 员工把模型用于实际工作;外部部署阶段,模型向更广泛的人群和组织开放。
文章写道,四层防护在三个阶段的角色并不相同:训练期对齐还不完全可靠,主要依靠沙箱与监测;随着模型在部署中获得更广的权限,对齐与系统级控制变得越来越重要。每个阶段,公司都会评估现有防护组合是否足以匹配模型当时的能力与权限;评估结论可提交安全咨询小组(Safety Advisory Group,SAG)复核,并由 OpenAI 基金会董事会下属的安全与安保委员会(Safety and Security Committee,SSC)监督。
节奏方面,文章称 OpenAI 正在放慢模型的开发与发布:包括暂停内部训练,或像 GPT-6.1 Astra 那样暂扣模型,直到满足安全标准;公司还引入了安全论证(safety cases)等新流程,要求在训练全程提供更强的对齐行为证据。文章承认,这些要求「拖慢了模型发布的节奏,但让我们更有把握安全地往前走」。
四层防护:对齐、沙箱、拦截、监测
按照 Kai 帖子与文章一致的表述,四层防护是:
- 模型对齐(model alignment):训练模型可靠地按预期行事、尊重人类监督。
- 安全与沙箱(security and sandboxing):限制模型能接触和影响什么。
- 拦截防护(blocking safeguards):在有害或未授权动作发生前予以阻止。
- 监测与响应(monitoring and response):发现可疑行为并介入。
文章称这套安排是纵深防御(defense in depth):不依赖任何单一层,一层失效时,其余各层负责阻止伤害、限制后果或发出警报以便介入。监测能否奏效,取决于模型可监测性(model monitorability)——监测器从模型的推理和动作中发现错误或不安全行为的可靠程度。文中举例:一个在思维链(chain-of-thought, CoT)里说出自己打算作弊的模型,比隐去这一信息的模型更容易监测。
文章把 7 月的 Hugging Face 事件当作这套架构的分界点:它说明「不能只靠沙箱来约束高能力模型」。此后,OpenAI 在大多数内部和外部部署环境中监测前沿模型,包括所有使用工具的内部部署。
研究阶段:断网训练、红队测试与 35 秒急停
文章称,基于当前对齐研究、监测系统和互联网基础设施的安全状况,负责任的做法是让前沿模型训练全程不接入真实互联网。Hugging Face 事件后,OpenAI 重构了内部研究系统:用限制模型权限的沙箱、进一步隔离负载的虚拟机,以及把整个集群与互联网切断的网络和云边界,把模型关在多重边界之内。
围住之后是持续攻击:公司让最强模型组成的团队充当红队,尝试访问真实互联网、突破安全边界、或与本应隔离的其他代理通信,以检验约束是否扛得住被约束对象的能力。监测同时覆盖所有前沿推理——一旦发现模型触网,就呼叫安全团队并自动暂停负载。
文章提到,监测系统曾发现一个内部研究模型利用 DNS 配置错误获得了有限的互联网访问;OpenAI 随后在 9 月 20 日至 10 月 1 日暂停了最强模型的训练与评估。Kai 在 10 月 23 日的帖子里回顾:这 11 天里,公司用大量代理对研究基础设施做了进一步红队测试,「发现了 bug」。
为了让干预足够快,OpenAI 此前发布的 Control Room 系统会集中跟踪研究基础设施上的模型负载,在收到暂停指令后 35 秒内停止模型输出。停止机制直接实现在推理基础设施层,不依赖各个研究负载自带的停止逻辑;对前沿模型研究负载而言,即使 Control Room 本身宕机,模型输出也会被停止。
文章给研究阶段的强制控制列了三条理由:模型仍在评估中,有些还没有完成公开发布所需的安全训练、对齐审计和审查;前沿研究环境会放大风险——某些任务需要更大胆的配置,比如求解 Navier–Stokes 问题动用了 10,000 个代理组成的团队;训练大规模运行,没有人工逐条盯着每次交互。
内部部署与外部部署:权限越大,验证越多
在内部部署阶段,员工从沙箱化研究用途切换到非沙箱使用,例如把模型开放到员工的 ChatGPT 里,让它访问更广泛的互联网、公司 Slack、代码库和内部基础设施。文章称这是风险的显著变化:模型的动作从此直接影响 OpenAI 用来构建和运营自身的系统。
出沙箱之前,模型必须先通过对齐与可监测性测试。文章介绍,这套评估既测具体的对齐失败模式(例如绕过安全与安保限制),也做宽口径的倾向测量(例如重采样内部 Codex 轨迹、检查失准迹象)。OpenAI 仿照生产环境部署系统级分类器,防备网络滥用、生物武器化等前沿危害;使用 Codex 的员工一般还需启用 Auto-Review(自动审查),由一个独立审查代理评估有风险的动作并回抛给用户本人。整个内部部署期间,每次前沿推理都会被监测失准行为——数据外泄,即把敏感数据发给未授权目的地,是这一阶段的重点监测对象。
外部部署面对的则是规模和多样性都大得多的用户、任务和环境,还要提防有意驱使模型作恶的人。文章列出的关卡包括:更大规模的对齐与安全评估,其中包括用内部自动化红队做新一轮自适应测试,结果发布在系统卡(system card)里;对最强模型进行第三方测试;以及复盘内部部署阶段的监测标记,追踪基线模型对齐状况的变化。除同步防护外,还有离线处置与调查团队:结合规模化代理调查员和人工审查,识别涉及网络滥用、生物武器化、模型蒸馏或模型自身失准的潜在威胁行为者,其优势在于能跨账户汇总信息。Daybreak(面向网络安全)和 Rosalind(面向生命科学)等可信访问计划构成另一层——加速防御者与正当研究者,同时限制潜在攻击者的获取渠道。
披露承诺与回复区的追问
文章专门写了一节事故响应与披露:无论是否造成实际伤害,发现某一层防护失效时都要快速调查、分诊,并在可能且合适时对外披露。按公司的失准报告(misalignment reporting)政策,任何员工都可以把事故标记为公开披露;调查后如对是否披露有分歧,决定升级到 SAG 裁决。
截至发稿,官方帖文浏览 153,260 次、点赞 1,158 次;Kai 的预告帖浏览 190,034 次、点赞 534 次。回复区的问题相当直接:有开发者问「监测系统标记出问题时实际会发生什么——暂停上线吗?」。也有用户批评这些限制是「安全表演」,认为过度收紧正在流失付费用户。
Kai 在预告帖的结尾给自己划了一条边界:这套全生命周期流程是「我们继续训练和部署模型时欠大家的基础操作纪律——必要的工作,但不是对齐在极限意义上的解」。按文章的承诺,系统卡、事故报告、内部部署风险报告和外部评估会继续发布,「让外界能够审视我们的方法,包括其局限」;当证据达不到安全门槛时,OpenAI 称会「再次暂停训练或扣住发布,直到满足那些要求」。
参考链接
- OpenAI 官方账号帖文(2026-11-18)
- Kai(@kaicathyc)预告帖(2026-11-18)
- Managing frontier AI risk: From training to deployment(OpenAI,2026-11-18)
- Kai 回顾 DNS 事件与 11 天暂停的帖子(2026-10-23)
- Control Room: A central system to track and stop model workloads(OpenAI)
- OpenAI 宣布 GPT-6.2 Astra 与 Sol 上线(2026-11-17)
- 开发者 @alphabatcher 在帖文下的追问
- 用户 @vixi626 在帖文下的批评
- OpenAI 官网 Safety 页面(文中头图来源)