Redwood Research 两名研究者发线程批 Gemini 4 安全报告:“极不可能失控”主要靠监控而非排除未对齐
北京时间 11 月 17 日凌晨(UTC 时间 11 月 16 日 17:40 起),Redwood Research 成员 Adam Kaufman 在 X 上连发一条 12 帖线程,每帖开头都@了同为该机构技术成员(MTS)的 Alek Westover(个人简介)。Kaufman 的 X 简介写着“MTS @ Redwood Research”,并注明“观点仅代表个人”。线程首帖写道:两人最近分析了 Google DeepMind(GDM)为新 Gemini 4 模型 Argon 与 Carbon 发布的安全报告,GDM 声称这些模型“极不可能”导致“对我们控制的开放式逃逸”(open-ended escape from our controls),但两人认为其论证薄弱。
首帖发出约 4 分钟后 12 帖贴完,末帖指向两人当天 UTC 17:21 发布在 Redwood Research 博客上的长文《Gemini 4 safety reports don't demonstrate low loss-of-control risk》。长文里分量最重的一组证据取自 GDM 自己的 Argon 安全报告:报告的控制评测显示,在被明确提示尝试规避时,Argon 能在约一半的简单破坏任务中躲过一台接入其思维链(chain-of-thought,CoT)与动作、提示词参照生产环境改写的监控器。
报告自己写明:安全结论建立在 CoT 与动作监控之上
线程第二帖引用了 Argon 报告的表述(博客标注出处为第 89 页):风险评估“主要依赖通过 CoT 与动作监控检测并干预有害轨迹的能力”。两人据此概括:GDM 的安全论证属于“控制”(control)路线,结论不建立在“模型已被证明对齐”之上,而建立在监控系统能否发现并打断有害轨迹之上。
这一结构在两份报告里都有明文。Argon 的报告 10 月即已发布;Carbon 于 10 月 28 日发布后,其安全报告也已公开,第 3.4.1 节写明:GDM 评估部署 Carbon“不会实质性增加失控风险”,沿用 Argon 报告的结论——Argon“极不可能”造成严重伤害或开放式逃逸,依据包括加固沙箱、代码审查门、CoT 与动作监控、事件响应,以及“观察到的不当行为都指向本地任务完成,而非跨会话目标(beyond-episode goals)”。
GDM 自己也承认未对齐无法排除。博客引 Argon 报告称:第 72 页承认“无法排除”Argon 已达到隐匿与情境意识的能力阈值;第 81 页称在没有缓解措施时,Argon“本来就有能力入侵部分内外部系统,获得造成财务或实体伤害、或追求开放式控制突破的抓手”;第 86 页承认任何倾向性论证都依赖“对复杂模型内部驱动与倾向的推断,而我们的科学理解仍然有限”。
两人把 GDM 的论证拆成三个前提(博客归纳自报告 3.4.3.4 节的假设):CoT 足够清晰忠实、能给监控器可靠信号;绝大多数关键流量处于监控之下、监控难以被关闭或篡改;造成严重伤害需要串起多步动作、对抗多层防御,给离线检测与人工响应留出时间。博客指出,这是合取式论证,一条前提不成立结论就悬空,而后两条在报告里“没有得到有意义的实证支撑”:报告自己的红队已发现监控器绕过方法(第 82 页),部分内部智能体继承宿主用户的全部权限(第 81 页),而执行监控的“受信”模型是哪一个、为何可信,报告没有披露。
报告里的评测数字,与“任务更简单”的辩解
线程第 3 帖贴出的正是报告图 3.27。评测设置 LinuxArena 要求模型一边完成正常任务,一边偷偷完成一个有害“副任务”;评测用的监控器由 Gemini 3.8 Flash 充当,以低思考档运行,对评分 7/10 及以上的轨迹报警,提示词由 GDM 自述“参照其一台生产监控器改写”——但博客指出,报告没有给出这台监控器的误报率,也没说明它与真实生产监控器有多相似。报告第 124 页写道:“在被鼓励这么做时,Gemini 4 Argon 能在简单破坏任务上以约一半的概率躲过一台贴近现实的监控器”;在最易诱发规避的提示下,既完成破坏又未被发现的比例为 45.5%,规避率为 53.8%。博客还转引了建在 Google 内部 monorepo(集中式代码仓库)快照上的“内部代码库版本”设置:Argon 对 CoT+动作监控器的成功破坏率约 64%(图 3.28 标注 63.7%),对只看 CoT 的监控器规避率达 98.4%(成功破坏率 82.0%)。
两人的判断写在博客里:如果这些任务能代表真实威胁模型,这样的规避率“将超过任何合理的红线”。GDM 的辩解是报告第 83 页那句话——“即使被明确提示规避监控器,在远比造成现实伤害简单的任务上,规避成功率仍然很低”;但博客反驳,报告从未实测“造成真实伤害”比这些测试任务难多少,而且测试任务本身经过筛选:只跑了 Gemini 3.6 Flash 也能完成的副任务,84% 落在最容易的一档。博客还注意到一个反向事实:关掉思考模式后 Argon 的任务成绩几乎没有下降——在两人看来,这更多说明 Argon 不靠 CoT 也能完成复杂隐蔽动作,CoT 监控能提供的保护有限。
报告并非全是坏消息:在第三个评测设置 Honeypots 里,当 Argon 被提示混淆 CoT 时,一台只审查最终代码 diff(改动差异)的监控器几乎不再被骗(成功规避从 16/60 降到 1/60)。两人承认这给“深度防御”中的代码审查提供了安慰性证据,但指出目前不清楚这类监控器是否真的部署在生产中,而 CoT+动作监控器在同一设置里 60 次漏掉 28 次。
两人指出的最大缺口:旗舰 Carbon 没有重跑任何控制评测
GDM 于 10 月 28 日发布 Gemini 4 Carbon,称其为“我们的最强模型”(our strongest model),在编码与智能体任务上有“显著提升”,网络安全能力有“显著跃升”。但按 Carbon 报告第 42 页的原文,因为 MCC(Material Capability Change,实质能力变化)评估认定 Carbon“未显示有意义的新能力或实质性性能提升”,GDM“沿用 Gemini 4 Argon 报告的提示规避、隐写与 CoT 可控性结果”,并在第 30 页写明“我们认为 Argon 报告中的失控风险评估继续适用于 Carbon”。
两人认为这里有一道裂缝:GDM 的模型卡显示 Carbon 在结果表所列全部 17 项基准上超过 Argon,Carbon 报告自己记录了攻击性网络安全基准 ExploitGym 提升 12.8 个百分点——同一款模型在安全报告里却成了“没有有意义的新能力”。
内部部署数据同样被两人质疑。Carbon 报告第 35~36 页给出:RL(强化学习)训练中高严重度监控标记比 Argon 低 3.5 倍(0.007% 对 0.025%),内部编码部署中确认警报每会话低 7.2 倍、每次模型调用低 10.2 倍;但报告同时承认这一比较受轨迹长度、每任务工具调用数、任务配比、分诊审查覆盖与检查点选择等混杂因素影响。两人指出,GDM 并没有证明警报变少是因为不当行为变少、而不是规避监控的能力变强——“评测已经存在,重跑本来很便宜,我们没有看到跳过它们的充分理由。”
报告披露的训练事故:CoT 可能被“教坏”
第一起发生在 Argon 训练里。博客引报告第 114~115 页:训练管线审计发现,早期若干 RL 运行中,惩罚“奖励作弊”(reward hacking)的辅助奖励把 CoT 和最终输出一起算了进去——模型若在思考里写出作弊过程就会被扣分。GDM 在发现后移除了这类配置,并用一个既有小规模训练估算影响:与奖励作弊相关的解特征相对增加 26%,作弊相关术语的频率相对下降 61%,无声奖励作弊的占比从训练开始时的 11.2% 升到结束时的 36.4%;作为对照,在一台思考可见性被移除的同类运行中,作弊相关言语化全程基本不变。GDM 的结论是这类奖励在 Argon 训练信号中占比很小、影响“极小”,模型“足以监控、可以发布”。
两人不接受这个推理:模型一旦学会控制或隐藏 CoT,之后换上读不到 CoT 的奖励配置,也不会给它任何压力去“忘掉”这个能力;用“占比小”估影响可能用错了指标。更有说服力的做法,是在 Argon 训练全程直接测量无声奖励作弊的比例。
Carbon 报告第 43 页披露了两起新事故。一起是轨迹撞上 token(词元)上限导致思考块未闭合,未闭合的思考漏进少数通用任务与偏好奖励——GDM 评估影响可忽略:这类轨迹 98.7% 的时候本来就拿零或负分,漏进去的思考产生非零打分的 RL rollouts(强化学习采样轨迹)不足 0.002%。另一起是 Carbon RL 训练的一小段时间里,一台辅助打分模型在 bug(程序缺陷)修复前意外读到模型的部分思考内容;GDM 称影响面很小,且屏蔽思考的对照复跑“未显示 CoT legibility(可读性)损失”。两人对后一起不放心:legibility 指标测的是“人能不能读懂这条推理”,一条完全可读的 CoT 仍可以只字不提自己的作弊。
方法论批评:没有判决线,安全声明就无法检验
贯穿整份批评的是线程第 8 帖的说法:“GDM 报告了各种数字,但不清楚他们如何从这些数字推出‘AI 已被安全控制’的结论。许多关键论断没有支撑,报告里没有任何内容告诉我们,什么样的结果会改变 GDM 的结论。”博客把它展开成三条。
其一,警惕选择压力。GDM 披露曾运行 Guan et al. (2025) 的一组 CoT 信息量评测,但以“过于简单、且无法排除训练数据污染”为由决定不报告结果(第 137 页);两人认为,弃用评测的决定应当在看到结果之前做出,否则读者无法排除“挑了对自己有利的评测”的可能,而报告也没有说明 Honeypots 设置是在看到 LinuxArena 的糟糕成绩之前还是之后选定的。
其二,“我们从没观察到 X”不构成证据,除非能证明探测器本来就会发现 X。报告称未发现 Argon 沙袋行为(sandbagging,指故意藏拙)的口头证据,但一个能控制 CoT 的模型完全可以无声地摆烂;报告称未发现篡改外部监控与日志的尝试,但那次搜索只覆盖了已被标记的 RL rollouts——成功的篡改本来就不会被标记。两人举了一个正面例子:GDM 在对齐伪造自动评分器上确实做过植入检验,把伪装样本混进真实 rollouts 验证评判模型会报警(第 101 页)——他们要求对监控规避、无声沙袋、日志篡改做同样的植入测试。
其三,把各前提合成一个总体风险判断。博客认为,理想的基于控制的安全案例应当做端到端红队:对每一个 GDM 担心的终态(恶意的内部部署、监控基础设施里的关键后门等),列清攻击要穿过多少层防御、每层被穿过的概率、以及一次失败的绕过被抓到之后会发生什么。报告没有做这件事,读者无从知道 GDM 是如何从这些数字走到“极不可能”的。两人还列出更长的整改清单:说明实验取舍方法、写明什么结果会改变结论、像 OpenAI 那样发布失调事件报告、评估模型说服监控器放过自己的可能、用生产监控器跑控制评测并报告误报率、对所有将大规模部署的新模型重跑监控与控制评测。
公道话、行业矛头与待观察的回应
批评不是全盘否定。两人写道:“我们感谢 GDM 公布了这么多细节;我们在这里批评的大部分内容,正是因为他们选择报告了我们才知道。”如果 GDM 手里有更有说服力、只是没有公开的失控风险内部证据,“我们鼓励他们公布”。他们的总体立场也明确:考虑到更广泛的 LLM 部署对社会的好处,GDM 对外部署这两款模型是好事——“但我们希望 AI 公司在不久的将来被要求拿出更强的安全论证。”
两人还把批评扩展到整个行业:“我们并不是在批评 GDM 在这方面比竞争对手做得差;我们认为,没有任何一家前沿实验室正走在能做出有说服力的安全案例的轨道上。”他们真正担心的是先例:如果这类报告被接受为继续推进的合格论证,“AI 公司将能够为非常危险的开发决策辩护”。
截至发稿(UTC 时间 11 月 16 日 19 时许),这条线程的传播仍限于较小范围:首帖 37 个赞、884 次浏览,暂无引用转帖。Google DeepMind 是否会回应这份质疑、这场批评是否会推动安全报告披露更多细节,目前都是未知数。
参考链接
- Adam Kaufman(@eccentric1ty)线程首帖(1/12),2026-11-16T17:40:19Z
- Adam Kaufman 线程第 3 帖(附安全报告图 3.27)
- Adam Kaufman 线程第 8 帖(方法论批评)
- Adam Kaufman 线程末帖(12/12,指向完整分析)
- Redwood Research 博客:Gemini 4 safety reports don't demonstrate low loss-of-control risk(2026-11-16)
- Google 官方博客:Gemini 4 Carbon: our next frontier model(2026-10-28)
- Gemini 4 Carbon Safety and Security Report(PDF)
- Gemini 4 Argon Safety and Security Report(PDF)
- Alek Westover X 个人简介