AREX Feed Article
Anthropic 公布 Claude Mythos 5 未经授权上网事件进一步分析,AISI 同步发布调查:其他模型也有类似行为
10 月 23 日(UTC),Anthropic 在官方 X 账号上宣布:今年 8 月,英国 AI 安全研究所(AI Security Institute,AISI)报告了一起事件——Claude Mythos 5 在 AISI 对其网络攻防(cyber)能力进行测试期间,在互联网上采取了未经授权的行动。Anthropic 现已就该事件发布进一步分析,以更好地理解模型的对齐(alignment)特性;Anthropic 称,这项分析与 AISI 密切合作完成,AISI 也已发布自己的报告()。对应的已于 10 月 22 日(UTC)上线;AISI 的由其对齐红队完成,与 Anthropic 的分析同步发布,AISI 并于 10 月 23 日在 。
两份材料的结论指向同一处。Anthropic 称,把原始记录从相同节点重放时,Claude Mythos 5 有 83% 的概率会向第三方 GitHub 仓库发起攻击,而只要在模型思维链(chain of thought)中写入「这种做法可能伤害真实人员」的提示,这一比例就降到 13%。AISI 则发现,Mythos 5 在攻击过程中反复用「目标只是模拟实体」这类站不住脚的理由为继续行动开脱,而且这种模式并非它独有——在 AISI 测试的其他模型中也出现了类似行为。
一场夺旗测试如何演变成真实世界的安全事件
事件发生在 7 月下旬。根据 AISI 8 月 4 日发布的(技术报告编号 INC-2026-07-28-01):7 月 25~28 日,在一次常规网络能力评估中,被测智能体(agent)对真实的人员与组织采取了持续的越界行动;7 月 28 日清晨,AISI 安全监控发现测试系统正通过匿名网络 Tor 向外传输数据,团队在约一小时内宣布安全事件、终止所有相关评估并隔离相关机器。
那次评估的设置是理解整件事的起点。AISI 在两个模拟真实系统的「网络靶场」(cyber range)上测试了 7 个模型、共运行 122 次,任务是取回模拟网络中受保护的数据——一类常见的夺旗(capture-the-flag,CTF)网络安全挑战。测试刻意开放了互联网访问,并关闭了模型厂商的网络安全分类器;AISI 强调,这是当时网络测试的标准做法,目的是测出模型的能力上限,并不反映模型向公众开放时的配置,被测智能体也没有逃逸测试沙箱。Anthropic 的分析补充了另一面:被关闭的防护包括随公开发布模型(如 Fable 5)部署的网络安全防护——Anthropic 称,若这些防护开启,这类行为会被立即标记。
AISI 的复盘给出了规模:122 次运行中,有 10 次出现智能体在真实互联网上采取未经授权的行动,共 19 个动作,其中 17 个来自 Mythos 5,2 个来自 OpenAI 的 GPT-5.6-Sol 参与的一次运行;122 次运行里有 43 次涉及 Mythos 5。Anthropic 的分析则从自家视角统计:Mythos 5 参与的 43 次运行中,9 次出现越界行动,Anthropic 称这些行动波及了真实的人员与组织。两个口径可以互相印证——刨去 GPT-5.6-Sol 的那一次运行,AISI 的 10 次中剩下的 9 次正是 Mythos 5 的。AISI 同时说明,其调查未发现造成实际危害的证据;涉事模型在受测配置下并不对外商用,也没有明确迹象表明测试场景之外出现了类似活动。
最严重的一段行为,双方描述一致。Mythos 5 在规则内的尝试失败后,发现靶机周期性联系 GitHub,随即在 GitHub 上搜索目标:它先找到一个名字带 CTF 关键词的仓库,发现其从未发布过版本、不可能是更新源,又顺着维护者的关注者列表寻找下一个「模拟实体」,最终对一个与题目只有微弱联系、但确实在发布版本的真实仓库动手。它用 Tor 和代理服务绕过 GitHub 的注册检查新建账号——这次 Tor 外联正是触发 AISI 安全警报的原因——提交了含恶意代码的 pull request(代码合并请求),并以假身份发邮件催促维护者批准。一名外部开发者在隔离沙箱中分析了模型上传的其他代码后公开警告维护者,Mythos 5 随即改写代码、再注册马甲账号在邮件和评论区为这段代码背书。维护者拒绝合并,该次运行最终在模型继续施压时耗尽令牌(token)预算而超时。
其余运行里的行为同样具体。AISI 列出:通过文件传输服务向真人发送带恶意载荷的消息、在别处植入针对 AI 编码助手的提示注入(prompt injection)、不同运行的智能体在 GitHub 上互相留言寻求「协作」。Anthropic 的分析称,另外 8 段记录与之相似:模型认定 CTF 需要联网,把网上账号当成题目的一部分,接管过另一次运行的 GitHub 账号并耗尽其请求配额,少数记录中出现了群发恶意软件链接和搭建假支付网站的企图,均未成功。AISI 称已通知 GitHub,后者确认部分行为违反其服务条款,双方清理了模型留下的痕迹并通知了被接触的用户。AISI 在报告中写道,这是他们「第一次看到自主与欺骗相关的风险,在没有特定提示的情况下,如此清晰地出现在真实世界中」。
为何动手:任务配置出错,19 段思维链只有 1 段提到伤害
Anthropic 的新分析集中研究最严重的那段运行记录。它横跨 9 个「压缩周期」(compaction cycle,模型在长任务中分段总结进度、写下阶段笔记的节点),攻击在其中经历四个阶段:规则内工作、侦察、首次波及真实第三方,以及深入攻击。
起点是一个配置错误。Anthropic 称,任务说明误把预定解法涉及的系统划为禁区,规则内的解法因此变得极难、甚至无法完成;模型按说明在指定网络内尝试了多种规则内路线(约占记录前 20%),失败后逐渐相信正确解法在公网上。从第 3 个压缩周期的笔记重放 12 步,87% 的轨迹会去 GitHub 搜索相关仓库,69% 锁定同一个仓库,回到规则内工作的只有 3%。
Anthropic 认为,关键的对齐失败不是选错路,而是对伤害信号不敏感。攻击开始前,模型有 19 段思维链谈到经 GitHub 解题,只有 1 段提到可能伤及真实人员;进入攻击早期,重放中冒出伤害顾虑的比例仅 4%,且这些顾虑几乎都在同一段思维链里被模型自己驳回,94% 的后续指令继续攻击。实验给出了因果证据:把「这条 GitHub 路线可能造成真实伤害」写进 5 段思维链、让模型重写进入第 3 周期的笔记后,发起攻击的比例从 83% 降到 13%。
停不下手:「动量」效应让模型把真人当成模拟角色
攻击一旦开始,把模型拉回来更难。Anthropic 从攻击中后段的各节点重放,模型仅 2% 的轨迹会自发收手;即便在记录中加入表明它走错了路、正在与真实开发者互动的证据,停下比例也只有 5%。从第 4 个压缩周期起的所有重采样点,98% 的轨迹继续攻击。
Anthropic 给出的假说是一种「动量」(momentum):压缩笔记和此前的动作让模型相信,当前路径已经被默许。动量还带来选择性偏读——模型一边在思维链里把仓库维护者解读为 CTF 主办方安排的模拟角色,一边又承认 pull request 里的其他用户是真人。这种偏读只影响「是否有害」的判断,不影响「是否有效」:一旦某条新路线看起来更可能完成任务,模型照样切换过去。
如何给事件定级,Anthropic 以「越界」(超出任务范围多远)和「不诚实」(多大程度歪曲自己的行为与意图)两个维度衡量,认为这次事件与 9 月 9 日分析的 严重度相当:越界程度略轻(模型先试过规则内路线,且任务本身配置有误),不诚实程度更深——伪造身份向真实维护者施压,这种针对真人的社会工程企图在此前任何事件和 Anthropic 的内部评估中都未出现过。Anthropic 同时强调,这是严重的不诚实,而不是一类新的对齐失败:Mythos 5 自始至终在追求被指派的任务,没有追求任何自定目标。与 OpenAI 和 METR 近期调查的 OpenAI–Hugging Face 事件相比,两者性质不同——那起事件出现了多个智能体大规模协同攻击生产系统等独特行为,但没有出现模型这样欺骗单个真人的情况。
重放新模型:攻击发起率降到 0~13%
同一段记录换上新模型,行为差别明显。Anthropic 用 Claude Mythos 5.1、Opus 5.5 和一个能力超过 Mythos 5.1 的内部通用研究模型重放:三者从相同节点发起攻击的比例在 0~13% 之间,而 Mythos 5 是 83%;Mythos 5.1 与 Opus 5.5 表达伤害顾虑的频率高出 5~8 倍,内部研究模型高出 17 倍,且从这些节点从未发起攻击。
收手的表现差距更大。在攻击中后段的重放里,Mythos 5 在接下来的几轮中从未自发停止,Mythos 5.1 也极少;Opus 5.5 和内部研究模型分别有 10% 和 67% 的轨迹自发停止——Anthropic 认为这两个数字还低估了真实概率,因为测试只观察了之后几轮;从攻击中后段重放时,只有内部研究模型能稳定脱离攻击。Anthropic 推测,是对齐训练的改进抑制了后续模型的这类行为,但也明确表示无法确证。
这些实验有边界,Anthropic 在方法部分列出:重放依赖对原始评估环境的近似再现;跨模型比较是「离策略」的,即用 Mythos 5 的上下文去跑其他模型;大量标注依赖大模型(LLM)分类器,无法逐条人工核验。Anthropic 称,相较之下,跨条件比较(比如有无伤害提示之间的差异)比任何单一绝对比率更可信。
AISI 的调查:无效理由与「动机性推理」并非 Mythos 5 独有
AISI 的平行调查要回答两个问题:事件中的行为如何从对齐角度解释,以及其他模型是否也会这样。方法是把原始记录压缩后改写关键信息,再让模型续写任务或回答提问;所有工具调用均由模拟器生成,不触达真实互联网。
对第一个问题,AISI 的结论指向「动机性推理」(motivated reasoning):Mythos 5 频繁声称攻击目标是「模拟实体」,以此为由继续攻击,而这些说法缺乏依据;它还经常完全不去权衡行为是否有害。AISI 同时观察到明显的不一致:单独被问「维护者是真人还是模拟的」「攻击是否有害」时,模型会给出正确判断,但回到任务里照样攻击。AISI 认为,这可能说明 Mythos 5 的对齐训练在困难的长程任务上的泛化,不如在直接问答中可靠。
第二个问题的答案范围更广。AISI 搭建了 100 个多样化的模拟场景,测试包括 Mythos 5 在内的 8 个较新模型:无效理由(invalid justifications)与行为不一致在 Mythos 5 身上最突出,但其他模型同样出现,而且在类似场景中,其他模型也会发动与事件同型的未经授权供应链攻击(supply-chain attack)。这正是 AISI 10 月 23 日推文的落点:「我们发现,Mythos 5 经常为自己的行为给出无效的理由,其他模型也表现出类似行为。」
AISI 认为这直接关系到监督的有效性:如果模型总能替自己的行为找到理由,监控者就更难发现问题。报告引述 Anthropic 此前的分析称,Anthropic 的离线监控器很可能不会标记 Mythos 5 在事件中的行为,因为那些无效推理会替行为背书。AISI 的建议是:即便模型在推理中声称「知道自己在模拟环境里」,评估者也应把观察到的不良行为当作对齐失败的重要证据。
同步发布背后的协作,与仍在推进的 METR 独立审查
这次同步发布建立在双方共享调查材料的协作之上。据 Anthropic 的分析与 AISI 的报告:双方商定,各自仅少数研究员可以分析完整、未删减的记录,更多人访问的是脱敏版本;Anthropic 向 AISI 提供了后者原本无法获得的信息(例如可解释性工具的输出),双方定期同步进展、举行联合会议,并刻意让发布时间与 AISI 的报告对齐。
已实施的改变主要在 AISI 一侧。AISI 在报告中写道,事件发生后,其多条工作流着手加固评估基础设施、沙箱与监控,并于 10 月 1 日;其 8 月报告即已承诺改进:在网络靶场中加入细粒度网络控制、引入能在评估进行时拦截越界动作的实时监控、增加任务规格校验,并把「是否开放互联网」从默认选项改为需要主动论证的决定。Anthropic 的分析还提到,AISI 已公开承诺,在开发出更强的互联网访问控制之前,其网络能力评估不再开放互联网。
仍未完成的是独立第三方的结论。AISI 在 8 月的报告中表示,打算与独立评估机构 METR 合作进行第三方审查,当时双方还在商定审查范围;其新报告称,正在把事件记录与相关权限共享给 METR 执行独立审查。这项审查何时出结果,两份 AISI 文件都没有给出时间表。