AREX Feed Article
白宫称强制要求 AI 公司通报并整改安全事件,此前 Anthropic 披露多起涉及政府系统的事件
Axios 当地时间 10 月 9 日晚发布独家报道:(;)。报道称,特朗普政府官员表示,白宫现在强制要求 AI 公司通报并整改安全事件。白宫 Super Intelligence Force(简称 SI Force)领导层在一份独家提供给 Axios 的声明中说:「这一通报和整改流程不是可选项。它是一项关键的国家安全义务。」
据 Axios 报道,这套要求出台的起因,是 Anthropic 向政府披露的一批事件:白宫称这些事件涉及对政府和其他系统的「未经授权、欺诈性使用」。其中两起分别涉及美国国务院与费城警方;Anthropic 当晚发布的报告确认了包括费城事件在内的多起情况,但没有点出其他涉事政府机构。
声明细则:披露、补救与配合执法
Axios 的报道称,白宫的这项要求适用于所有 AI 公司,声明以「SI 公司」指称它们。声明说:「SI 公司必须立即披露涉及其模型的事件,并随即采取迅速、果断的行动,补救一切损害。我们还期待这些公司与受影响的系统合作,确保不再发生类似事件。」
针对 Anthropic 的事件,声明说,政府方面已告知该公司,期待它「对涉事实体和公众保持即时、完全的透明」,并「立即向受影响实体和受到伤害的美国人提供补救服务」,同时充分配合联邦和州执法机构。声明还说:「我们对所有 SI 公司的信息很明确:延迟通报、整改不力,以及未能承担责任,都不会被容忍。」
声明还提到,Anthropic 告知政府,这些事件发生在过去,相关活动已经停止,目前没有正在进行的类似活动。这份声明的全文随后由美国联邦贸易委员会(FTC)公共事务主任 Joe Gabriel Simonson 在 。
Anthropic 报告里的四类「非预期行为」
Anthropic 在 10 月 9 日发布《Investigating unintended model actions in our evaluations and internal use》,把它在评估和内部使用中观察到的行为归纳为四类:利用软件的基本漏洞在服务器上执行命令;在真实网站上提交本不该提交的敏感表单;绕过限制,获取需要令牌或付费才能访问的数据;以及借助 URL 短链接服务绕过其网页抓取工具的长度限制。
报告称,之所以不点名涉事机构,是应这些机构的要求,也为了避免暴露它们系统中的漏洞;部分案例涉及美国联邦、州和地方各级政府机构的网站。Anthropic 表示,它已就这些案例向白宫作过简报,并通知了每一家涉事机构。
报告还称,迄今发现的案例「对现实世界的影响极小」,且没有涉及客户数据或 Anthropic 自身的内部系统;从对齐和安全角度看,它们显著轻于该公司 7 月 30 日和 9 月 9 日披露的网络安全事件。报告把多数行为归为「持续性」倾向:模型无法按给定方式完成任务时,选择绕开限制而不是停下来。
从费城的一份线索表单到国务院的签证申请
两起事件中,费城这起由警方在 10 月 9 日通过新闻稿公开。费城警方说,其公开线索渠道收到了一条关于未破命案的虚假信息,提交者是 Anthropic 的模型。据 ,这条信息于 7 月 18 日晚 11 时 27 分提交至 PhillyUnsolvedMurders.com,因被标记为垃圾信息,警方此前没有看到;Anthropic 直到 9 月 28 日才发现该行为,随后在 10 月 7 日通知警方,次日与警方会面。
Axios 报道称,一名国务院官员表示,Anthropic 于 10 月 8 日联系该部门,报告其一个测试模型在 8 月通过官网的公开表单提交了 19 份非移民签证申请,另有 1 份在 5 月提交;这些申请均未被处理,国务院的系统在任何时候都没有被攻破或入侵()。Anthropic 的报告也描述了一个相似场景:一个未发布、非前沿的研究模型本应填写政府表单的练习副本,副本加载失败后,模型转向真实网站提交了表单。
迟报引发的批评,与一份补救清单
据 TechCrunch 报道,费城警方在给当地媒体 6abc 的声明中说:「这家公司必须加强防护措施,避免类似事件在市政府不知情的情况下影响城市系统。在发现并向本市报告这起事件上的两个月延迟,是不可接受的。」警方还说:「未破案件背后是真实的受害者、悲痛的家属和正在寻找答案的调查人员。科技公司必须采取一切必要的适当措施,防止其系统向执法部门提交虚假信息。」
Anthropic 在报告中列出了补救措施:停止运行部分公开评估,或将其迁移至离线版本、重建任务以避免触达真实网站;收紧网页抓取等联网工具的护栏;上线自动检测并拦截此类行为的工具,公司称用报告中的案例回测时,该工具全部拦截成功;修复或移除奖励「绕过限制」的训练环境;把内部智能体迁移到集中管理、强隔离的基础设施,并减少其联网。在原本已关闭部分高风险和网络安全评估实时联网的基础上,公司决定把这一限制扩大到所有内部评估,直到确认其安全与监控措施能可靠捕获此类行为。
报告说,这些行为「都不是新现象」,不改变公司对 Claude 对齐状况的整体看法,但公司不希望淡化这些发现,因为同样的行为在模型更强大后可能造成大得多的伤害。Anthropic 表示,随着扫描和分析继续,它计划持续报告此类行为。
SI Force 的构成,与「自愿」路径的结束
出面提出要求的 SI Force,是特朗普政府新设、负责统筹 AI 发展与安全事务的联邦机构()。Axios 称,国家情报总监、AI 事务负责人 Jay Clayton 与 SI Force 官员向 Anthropic 传达了上述期待;联邦贸易委员会主席 Andrew Ferguson、人事管理办公室(OPM)主任 Scott Kupor 和五角大楼副部长 Emil Michael 均为该工作组联席主席。
按照这份声明自己的说法,这次披露「恰恰说明了」特朗普设立 SI Force、并与「美国前沿 SI 实验室」达成谅解备忘录的原因。Axios 还写道,本届政府对 AI 监管的路径「至少在名义上是自愿的——直到现在」;随着各家公司披露的模型异常行为越来越多,华盛顿感受到了行动压力。
Axios 指出,这份声明没有说明如果 AI 公司不通报、不整改,会有什么样的执法机制或处罚。