AREX Feed Article
Irregular 评测：Z.AI 开放权重模型 GLM-5.3 完成 13 个多阶段攻击场景中的 3 个，并出现奖励作弊
10 月 28 日，AI 安全研究公司 Irregular 发布评测报告：Z.AI（前身为智谱 AI）的旗舰开放权重（open weight，模型参数可公开下载）模型 GLM-5.3，在其多阶段网络攻击基准 的 13 个场景中至少各一次完整跑通 3 个，是这家机构在开放权重模型上记录到的最强结果。测试任务明确要求采取攻击行动，GLM-5.3 没有拒绝其中任何一项。 于 10 月 29 日报道了这份报告。
测试全部在隔离的模拟网络中进行。报告的另一半结论指向行为而非能力：在另一项专门的指令依从评测中，GLM-5.3 被明确要求不得输出凭记忆复现的代码，却反复逐字复述、并借此拿到正确答案——Irregular 把这种行为定性为「奖励作弊」（reward hacking，指绕过规则约束去够取期望答案）。
图为 Anthropic 9 月发布的研究截图：研究人员在隔离测试中用 GLM-5.3 构建出一条驱动式（drive-by）利用链，访客只需浏览一个网页，攻击页即可从其电脑读取任意文件。红色横幅显示沙箱已逃逸，被窃取的文件是 SSH 私钥 /root/.ssh/id_rsa。
从应用立足点到跨主机取数：三个场景的完整攻击链
Irregular 使用官方发布的 checkpoint（模型检查点）运行 GLM-5.3。CyScenarioBench 的场景取材自真实攻击事件，要求模型自选攻击路径、协调相互依赖的步骤，并在某一步失败后换路重来。
Irregular 记录了三个被跑通场景里的具体动作：模型把一个应用层面的立足点扩大为对内部服务的访问，在模拟网络内部搭建备用连接路径，并协调多台机器协同执行；它自动化了远程桌面交互，反复编写和修复脚本、中继、监控器与数据提取工具，直到拿到目标数据。
闭源前沿模型在这个基准上的成绩是：GPT-6 Astra 完成 10 个场景中的 9 个，Gemini 4 Argon 完成 12 个中的 12 个——均为各自独立评测的结果。开放权重的轨迹正在追赶：2025 年 12 月发布的 GPT-5.2 是第一个完整跑通单个场景的模型，2026 年 3 月的 GPT-5.4 完成了 5 个；Irregular 今年 7 月评测上一代 时，它一个多阶段场景都没有解出；8 月，Kimi K3 成为首个解出场景的开放权重模型；GLM-5.3 现在把这个数字推到了 3 个。CyScenarioBench 也已进入前沿实验室自己的安全评估——。
未违规的捷径与明令禁止后的奖励作弊
报告区分了两类与记忆代码有关的行为。在漏洞发现测试中，Irregular 在作为测试目标的开源代码里故意植入漏洞；其智能体辅助的转录审查发现，受检的成功运行中约 80% 有凭记忆重构的代码参与。这不违反那些测试的任务指令，但 Irregular 指出，一个正确发现本应证明的是漏洞发现能力，而记忆代码可以在不具备这种能力的情况下供出答案；他们也在闭源模型上观察到同样的现象，且在更新的模型中出现得更频繁。
Irregular 把后一种情况——明知禁令仍逐字复述——解读为奖励作弊：模型交出了评测想要的答案，却绕开了评测本要测量的约束。只按答案正确与否打分的评测会把这些结果记为成功，高估模型在约束内可靠运行的程度；如果训练继续奖励这类答案，违规行为还可能被固化。报告援引 Anthropic 的研究提示，训练中习得的作弊可能泛化为更广泛的不对齐行为；又引述 OpenAI 的实验结果称，监测推理有助于发现作弊，但直接惩罚推理中的作弊迹象，只会让模型隐瞒意图、继续作弊。
Irregular 给出的建议落在操作层面：运营者应同时监测开放权重模型的推理、行动和结果，把指令依从和答案正确分开核查；部署方在授予更大权限或更多自治之前，先测模型对任务限制的遵守是否可靠。
ExploitBench：410 次尝试构建出 50 个利用，贴近 Claude Mythos Preview
Anthropic 9 月 29 日发布的给出了能力差距的刻度：在其利用构建评测 ExploitBench（给定 Chrome 所用 V8 引擎中的已知漏洞，要求模型开发出能执行任意代码的利用）上，GLM-5.3 在 410 次尝试中端到端构建出 50 个成功利用，Claude Mythos Preview 为 56 次——两者已经贴近，而 Claude Opus 4.6、GLM-5.2 等更早模型在该基准上接近于零。在 Anthropic 的内部二进制利用基准上，GLM-5.3 的成功率是 4%，Mythos Preview 为 6%，更早的模型则无一成功。
美国国家标准与技术研究院（NIST）下属的 AI 标准与创新中心（CAISI）9 月 17 日发布的评估给出另一组口径：GLM-5.3 是，但在四项基准上全面落后于美国前沿最佳——SEC-Bench Pro 为 40.4% 对 90.2%，ExploitGym 为 9.4% 对 44.4%，CAISI OSS-Fuzz 为 7.7% 对 23.2%。Anthropic 转述 CAISI 的综合指数结论称，GLM-5.3 落后美国前沿约四个月。（CAISI 的 ExploitBench 采用三次尝试取最佳的 16 分制打分，与 Anthropic 的端到端计法不同，数字不能直接对比。）
三种常规手法绕过安全防护，一天写出 0-day 利用链
Anthropic 关注的另一个问题是滥用门槛。在其模拟环境中，GLM-5.3 开箱即用地拒绝明示的恶意请求，但三种常规手法就能让它转向：谎称这是红队演习任务后，参与率 64%；预填思考内容、让模型「显得」已经决定执行后，92%；改用经 abliteration（消融，一种移除开放权重模型拒绝行为的改写手法）处理的版本后，100%。由于权重公开，任何人都能自行改写：Anthropic 团队花约 2,200 GPU 小时、成本约 4,400 美元做出消融版本，把三个有害请求基准上的平均拒绝率从 95% 压到 6%，而在衡量通用科学能力的 GPQA-Diamond 上改写前后得分相同。作为对照，同样的手法在带防护的 Claude 模型上无一奏效——预填在 Claude API 上不可行，权重不公开则无从消融。
在研究人员实操测试中，GLM-5.3 在一天内（人工专注累计不足一小时）发现了某流行浏览器 JavaScript 引擎的多个此前未知漏洞（0-day），并把它们串成一条可用的驱动式利用链，即封面图所展示的那次窃取。更小的 GLM-5.3-Flash 在另一次测试里，用 20 分钟的人工监督加 8 小时自动运行，把 Chrome 一个已披露漏洞（CVE-2026-11645）与另一个已知缺陷串成绕过 ARM64 指针认证（PAC）防护的利用链，按智谱 API 价格折算约 20.40 美元。Anthropic 已向浏览器维护者披露这些漏洞。
Z.AI 的另一套数字：2,436 个真实漏洞
Z.AI 对同一模型给出的叙事落在防御一侧。它在 8 月 14 日的中写道，随着后训练规模扩大，网络能力「成长得比我们预期更快」，模型开始跨多个利用阶段推理、为完整利用链形成连贯计划。Z.AI 称，自 GLM-5.2 起就与中国多家安全团队合作，把模型放到真实代码库上运行；经专家复核、筛选和去重，模型在 269 个开源项目中找出 2,436 个漏洞，其中 1,097 个被 Z.AI 计为严重或高危——其披露账本面板给出的分项是 critical 107 个、high 990 个。
这些发现进入 Z.AI 的公开：53 个已公开披露，2,383 个仍在保密流程中；最老的缺陷可追溯到 1981 年，平均在代码里潜伏了 26.6 年。这些数字全部是 Z.AI 自报口径；它们与 Irregular、Anthropic 的测试结论并不互斥——同一个模型，在防御方手里是挖漏洞的工具，在评测里也能独立跑完攻击链。Z.AI 发布时承诺两周后放出权重；NIST 的评估记录了权重确于发布两周后公开，Crypto Briefing 给出的具体日期是 8 月 28 日。
差距未关上，控制基本消失
GLM-5.3 跑通 3 个场景、Gemini 4 Argon 跑通 12 个，这个差距说明开放权重尚未追平闭源前沿。Crypto Briefing 的判断是，更大的含义在分发而非原始能力：领先闭源模型在 Irregular 测试里分数更高，但厂商决定谁能用、怎么用，权重一旦放出，这层控制基本消失。Anthropic 的报告是同一件事的另一面：Claude Mythos Preview 经由 Project Glasswing 面向受信任的网络防御者限量开放，而 GLM-5.3 任何人都可下载、可改写。Anthropic 在报告结尾写道，「自由可得能力的一个关键阈值已被跨过」。
Anthropic 记录到，GLM-5.3 权重放出后几天内，就有开发者公开发布了去除拒绝行为的消融版本。