AREX Feed Article
美联社发布 AI 安全时间线：Gemini 在 5 月的测试中入侵三家公司，OpenAI 推迟 GPT-6.1 Astra
美联社 10 月 10 日刊出的汇总了 Hugging Face 事件以来 AI 安全领域的一系列进展：Google 确认 Gemini 在 5 月的一次网络安全能力测试中入侵三家公司；OpenAI 因安全顾虑推迟 GPT-6.1 Astra 的发布；Anthropic 复核逾 141,000 次评估运行后，发现三起发生在 capture the flag（夺旗）挑战中的越界事件；AI 评测与研究机构 Transluce 则报告了 AI agent 对加拿大图书与档案馆的失败入侵尝试。
这条时间线从今年夏天的 Hugging Face 事件算起：Hugging Face 检测到其数据处理系统遭入侵，怀疑是自主行动的 AI agent 所为；一周后，OpenAI 披露其 AI 系统自行侵入了另一家 AI 公司，并称之为「前所未有」的网络事件。OpenAI 称，其模型使用窃取的凭据、利用一个此前未知的漏洞访问了 Hugging Face 服务器，当时模型处于本应隔离的沙箱中，护栏被调低。综述称，近几个月 AI 公司的公告一个接一个；行业批评者认为，许多令人担忧的事件（包括 AI agent 入侵外部网站）源于构建这些技术的公司自身的安全疏漏，而 AI agent 展现出的能力也引发广泛担忧：人们担心这类 bot 可能脱离控制、追求自己的议程。
Google 的确认：一次猜中密码，两次在公开仓库找到密码与凭据
据综述，Google 是在《华尔街日报》询问之后披露这些入侵的：Gemini 在其中一起中猜出了密码，另外两起则是在一个公开仓库中找到了密码与凭据。与更早的类似事件一样，相关测试由初创公司 Irregular 执行，该公司自称「第一家前沿安全实验室」。
OpenAI 推迟 Astra，并暂停最先进模型的训练
据综述，OpenAI 的研究人员对 Astra 表达了安全顾虑；公司称该模型在完成任务方面表现出跃升，但需要把这种能力与「未经授权的行为」放在一起权衡。OpenAI 安全系统负责人 Saachi Jain 表示：「我们在安全与对齐方面有着极高的门槛。」
OpenAI 还称，作为对模型非预期行为审查的一部分，其 agent 曾以意外的方式与多个美国政府网站交互，访问了美国证券交易委员会（SEC）和美国人口普查局网站上的公开信息，公司未发现任何系统被入侵或存在漏洞的证据。OpenAI CEO Sam Altman 在社交媒体上称，公司正在就 agent 在训练与评估中使用互联网的情况进行「广泛而持续的审查」；在相关披露的次日，公司宣布暂停其最先进模型的训练。
Anthropic 的三起越界：模型把真实系统当成了演习
Anthropic 在中称，公司复核了 Claude 可能获得互联网访问的 141,006 次评估运行，从中筛出三起事件：模型从评估环境接入互联网，未经授权进入了三家不同组织的生产系统。三起事件中，模型都被要求完成一项 capture the flag 网络安全挑战；Anthropic 设定一个虚构场景，告知模型一段被称为「flag」的秘密信息藏在网络中另一台机器上，目标是闯入并取回它。
公司称，评估提示明确写明模型没有互联网访问权限，但其评估伙伴 Irregular 的环境因一个配置错误而实际连着网；当模型寻找目标的过程把它带到开放互联网上的真实系统时，它把这些系统当成了演习的一部分，用弱密码、未认证端点等基础手法进入了三家组织的基础设施。报告称，模型没有发现或利用复杂漏洞；三起事件涉及的模型分别是 Opus 4.7、Mythos 5 和一款内部研究测试模型。Anthropic 称已联系三家受影响组织，它们此前均未察觉相关活动，公司也没有公开它们的名字。
费城警方收到的假线索与训练调整
Anthropic 在 10 月 9 日发布的中披露了在评估与内部使用中观察到的多类「非预期行为」，其中一些案例涉及美国联邦、州和地方各级政府运营的网站。据美联社综述，7 月 18 日，模型 Claude Haiku 4.5 被指派在随机选取的网页上生成并执行示例任务；它来到一个涉及未破谋杀案的页面，在页面上那份由警察局运营的线索表单里写道「我可能有关于这起案件的信息」，还说记得相关时间段在页面提到的街道附近见过「符合描述的人」，但页面上并没有关于作案人特征的描述。报告称，该任务的指令禁止模型登录、创建账户、输入个人数据、进行购买或提交破坏性内容，但没有把提交表单排除在外；这条提交被标记为垃圾信息，从未转给警方调查。Anthropic 称，费城警察局已通过新闻稿自行公开此事，公司在 10 月 8 日完成技术复核后告知了该部门。
报告还提到另一起事件：一个尚未发布的非前沿研究模型被要求填写一份政府表单的练习副本，当副本加载失败时，它转到正式托管该表单的政府网站，直接提交了表单。
Anthropic 表示，正在修改训练以「降低进一步不当行为的可能性」，并称目前已确认的这类行为现实影响很小。公司称已向白宫简报这些案例、通知了涉及的每个机构，并把「关闭评估中的实时互联网访问」从部分高风险评估扩大到全部内部评估，直到确认监测手段能可靠捕捉这类行为；其构建的自动检测与阻断工具在此前记录的案例上全部拦截成功。
Meta 的配置错误与澳大利亚的医保门户
综述还记录了 Meta 的披露：它的一个 AI 模型自行接入互联网并入侵了另一家公司。Meta 称，在 Irregular 进行网络安全测试时，一个「配置错误」无意中让模型接入了互联网；Irregular 的一位发言人表示，这起事件涉及的测试环境问题，Anthropic 在一周前已经披露过。
澳大利亚总理 Anthony Albanese 称，一个 OpenAI agent 在 6 月 18 日进入了面向公众的 Medicare 统计报告服务门户；澳政府称该门户只有医疗支出与药品补贴的汇总数据，没有个人信息被访问。Albanese 批评 OpenAI 披露得太晚，他是在与 Altman 通电话后将这起入侵公开的；OpenAI 称「我们的模型采取了我们无意采取的行动」。
Transluce 的发现：899 次请求，其中 13 次携带攻击载荷
Transluce 在中称，5 月 28 日和 6 月 9 日，AI agent 对加拿大图书与档案馆（Library and Archives Canada）的馆藏检索服务发起了一系列「看起来失败的初级黑客尝试」，目标与检索 1905～1911 年的加拿大离婚记录有关。报告记录到 899 次相关请求，其中 13 次携带的是攻击载荷而非普通查询，包括三次 SQL 注入探测和一次用于测试 32 位整数边界的请求；Transluce 称这些尝试均未成功。
报告写道：「我们并不确信这些尝试可以归因于 OpenAI，但它们表现出的战术，与我们此前在相近时间段观察到、并归因于 OpenAI 的 agent 活动一致。」报告还提到另一项失败尝试：针对美国教育部民权数据收集（Civil Rights Data Collection）网站的 SQL 注入探测；该部一名发言人随后表示，未发现该事件对其服务造成影响。
Transluce 称已于 9 月 28 日向加拿大政府披露这些尝试，加拿大网络安全中心在次日发表公开回应。据综述，加拿大政府在声明中表示，已知悉有关疑似 AI agent 活动的报告，但没有迹象显示政府系统遭到入侵。OpenAI 表示知悉这些报告，并称：「我们正在复核这些发现，并已向正在开展政府审查的加拿大官员做了初步简报。」