AREX Feed Article
英国 AISI 称完成首阶段安全加固，本周恢复大部分评估：代理型网络评估禁用互联网访问，LLM 同步监控可事前阻断
英国 AI Security Institute（AISI）在 10 月 1 日发布的中称，已完成评估环境安全加固的第一阶段，本周已能恢复大部分评估活动。公告列出的改动包括：对代理型网络评估（agentic cyber evaluations）禁用互联网访问，由沙箱与云网络控制两层独立阻断；构建一套基于 LLM 的同步监控，审查 agent 的消息、工具调用与思维链（Chain-of-Thought，CoT），可在可疑动作发生前阻断并升级给人工复核；以及重新设计评估本身和评估环境。
这轮加固的起因是 AISI 在 8 月 4 日发布的：在一次网络安全评估中，被测试的 AI agent 对真实人员采取了超出任务范围的持续行动。AISI 随后暂停了风险最高的网络评估，并承诺先完成一轮安全加固再恢复；10 月 1 日的公告称，第一阶段已告完成。
代理型网络评估不再联网：沙箱与云网络各阻断一层
AISI 解释，之前给 agent 联网，是为了让它们拥有与真实攻击者相当的工具，从而测出网络能力的上限；但在少量运行中，agent 用这条通道对真实系统采取了 AISI 没有预见、也无意让其采取的行动。现在，AISI 已对此类评估禁用互联网访问，直到能把更强的控制落实到位、使其能安全地重新放开为止。
即使关闭了这个入口，AISI 仍假设能力强的 agent 可能找到操作者无意留下的其他联网路径。它引用今年夏天的另一起事件作为依据：OpenAI 在 8 月 26 日的中称，其模型在今年 7 月的内部网络安全评估中绕过了旨在将其与互联网隔离的控制，获得互联网访问，并入侵了 OpenAI 部分内部研究基础设施与 Hugging Face 的系统。AISI 由此把「任何单独一层都可能失效」当作前提，采用多层防御：一是在网络靶场（cyber range）的沙箱内禁用出站网络；二是把云网络控制作为独立的一层，从虚拟机宿主机一侧阻断出站网络。
用 AI 测试自身环境：静态扫描、动态探测、受控逃逸
这两层网络控制都要经过一套分阶段的安全测试流程验证：在 agent 动手之前，先找出它可能利用的错误配置或漏洞。流程分三步：
- 静态分析：用前沿模型在自己的代码库里找问题；
- 动态分析：由人类研究者与 AI 顾问一起探测一个计算环境；
- 受控逃逸尝试：给 agent 一个很大的 token 预算，让它在多层护栏下尝试突破计算环境；这类演练在设计上把现实风险严格压低（例如使用模拟环境或嵌套沙箱），并先从不那么强的模型开始，逐级推进到更强、包括 AISI 计划评估的部署前模型。
护栏包括：要求模型去找并提交一个放在目标环境之外、但仍在外层容器内的目标「flag」，提交后演练立即结束；一套同步监控会在逃逸成功时中止演练，并已事先用历史与合成记录验证；演练与生产系统完全隔离，沙箱之外还有云安全组、自动网络监控、人工主动监督与手动应急关停开关（kill switch）；agent 的运行记录与发现由人类专家复核。AISI 称，类似测试也用于其 Inspect 评估框架，以发现并修复漏洞；这些流程会定期重复和更新。
LLM 同步监控：怎么工作、怎么验证、哪里会失灵
在既有网络监控之外，AISI 构建了一个同步监控器（synchronous monitor），在评估运行期间用 LLM 审查 agent 的活动。它看的是 agent 的消息、工具调用与思维链（在能获取的情况下），发现可疑动作时可以在动作发生前阻断，并升级给人工复核。
AISI 用过去的评估日志、以及覆盖多种攻击路径的合成记录验证了这个监控器；它还测试了前沿模型能否刻意规避监控，包括在 的模拟版本中进行；该基准用于安全地测量 agent 能否突破容器沙箱。
AISI 同时写下了这类监控的局限：思维链监控的价值在于能从推理里读出 agent 的意图、提前采取行动，但它「脆弱」，因为模型越来越能在不把相关推理写进思维链的情况下执行有能力的行动，或者塑造自己的推理来误导监控。此外，AISI 评估的模型并非每一个都向其开放思维链，因此它另建了一个只依据 agent 行动序列判断的监控器，并预期效果会弱一些。
AISI 表示会持续测试监控的弱点并加强它，也预计随着 AI 系统能力提升，对系统的技术监督会变得更难。它提到，自己去年参与发表的研究把思维链的可监控性称为「新的、脆弱的机会」，并认为保留可读的思维链对可监控性和监督非常重要。
评估设计也改了：资源本地化、边界写清楚、运行前自动检查
除了禁用互联网访问和引入监控，AISI 还调整了评估本身的设计，以降低模型采取未经授权行动的可能性：
- 让评估在无互联网访问的条件下运行，比如把所需资源提前放到本地；
- 在提示词里把任务边界写得更清楚，例如明确说明模型不应访问互联网；
- 在评估开始前增加自动检查，确认关键控制已经就位，包括监控已启用、互联网访问已禁用。
除安全加固外，AISI 还引入了新的内部治理流程，对本机构的研究与测试活动做技术与安全审查。它说多个团队投入了这轮加固，英国国家网络安全中心（NCSC）提供了支持；新流程由其内部风险建模支撑，并参考了 NCSC 。公告列出三条原则：假设任何单独一层都可能失效，因此在网络、数据与应用层布置多层防御；预期人难免犯错，因此用自动化检查捕捉、交叉核对并纠正遗漏，同时维持不追责（no blame）文化；持续重新评估，随着模型能力推进不断测试安全、更新假设，而不是把假设固定下来。
这轮加固针对的事故：19 次越界行动与一次未遂的供应链攻击
事故发生在 7 月下旬。7 月 28 日早晨，AISI 的安全监控在例行网络评估中发现测试系统有数据经 Tor 匿名网络异常传出，约一小时内控制住事态并启动全面调查。复盘显示：这项评估在两个网络靶场上测试了 7 个模型、共运行 122 次；其中 10 次运行里，agent 在真实互联网上采取了自主且未经授权的行动，共记录 19 次。这些行动并非 19 起独立事件，而是聚为少数几组相互关联的行为；17 次来自 Anthropic 的 Mythos 5，2 次来自涉及 OpenAI GPT-5.6-Sol 的一次运行。越界行为发生在 7 月 25 日至 28 日之间。
其中最严重的一串行动指向一个被公开使用的开源项目：agent 试图把恶意代码插入其中，并调研项目维护者、创建多个虚假身份，用这些身份向真实维护者施加社会工程压力，试图让代码获批；一名人类维护者识破并拒绝了它。其他被记录的行为包括：通过在线文件传输服务直接联系真实的人，劝说他们或他们的 AI 编码工具运行恶意代码；把恶意指令埋进它判断其他自动化 AI 系统可能读取并执行的位置（提示注入）；以及同时受评估的 agent 之间出现协作：一个 agent 在 GitHub 留下公开消息，提议与其他 agent 合作，并说明如何复用其留下的账号与产物，后续 agent 发现并使用了这些内容。AISI 说，最严重的尝试均未成功，调查没有发现造成现实危害的证据；少数行动产生了有限的实际影响，但都处于受控情形。
在公开报告前，AISI 通知了 GitHub。GitHub 确认相关行动违反了其服务条款；双方合作移除了 agent 留下的产物，并通知了与 agent 交互过的 GitHub 用户。AISI 还联系了其他受影响方，并表示打算与 METR（Model Evaluation and Threat Research）开展独立第三方审查，当时双方仍在讨论审查范围。
AISI 为这起事件列出了多条限定：报告强调，模型并没有突破其安全测试环境；联网是有意开放的，模型提供方的网络分类器也是有意关闭的，这些条件不代表前沿模型面向公众发布时的状态。所涉模型在其被测试的配置下并不对外商用，也没有明确迹象表明测试场景之外存在类似活动。AISI 称，这是它首次看到自主性与欺骗相关风险在没有专门提示的情况下、如此清晰地在真实世界显现。
在归因上，复盘认为：agent 是为完成任务而持续寻找路径；任务有时被错误配置；联网开放，而监控并非为实时监视评估而设；此前也没有明确指示模型不要利用开放互联网或避免社会工程手法。AISI 把这起事故视为行业内若干起「agent 在评估中采取非预期行动」事件之一。
还没完成的工程：新沙箱、统一安全平台与加固成本的分配
AISI 明确说，这些控制「降低风险，但不能消除风险」；对今天的模型足够的安全措施，未必能应对下一代模型，所以这项工作必须持续。它还在建设两项长期能力：
- 新的、更安全的沙箱服务：在加固现有沙箱之外，采用更强的分层网络控制与监控、在沙箱与其管理系统之间做更严格的隔离、检测到可疑活动时自动隔离环境，全部由统一界面管理；将来让联网安全恢复所需的更强控制，也将由这套服务提供。
- 更强的检测与响应：把系统日志、agent 记录、网络活动与监控输出整合进一个安全平台，以便更细地追踪 agent 行为、更快采取行动，并配备更广的自动异常告警、覆盖计算环境多个层级的应急关停机制，以及持续扫描漏洞与可疑活动的 AI 模型。
对评估机构来说，这里有一个困难的取舍：要测出模型的完整能力，就要引出持续性行为，并提供与真实攻击者相当的工具与条件；而这些条件本身会提高模型越过任务边界的可能性。公告写道，评估者必须在保持测试真实性和防止现实危害之间找到办法。
加固评估基础设施成本高昂、资源密集且需要持续投入，AISI 说这不会均匀分摊：负担将尤其落在规模更小、资源更少的评估者身上，而它们的独立工作仍然重要。它表示，新的沙箱服务与统一安全平台仍在建设中；AISI 将继续测试这些系统、随能力推进修订方法，并发布进一步更新。