AREX Feed Article
Mindgard 称 Kimi K2.6 与 K3 Swarm 越狱后可讨论生物武器与暗杀,Moonshot 对 BBC 称正进行内部审查
据 ,AI 安全测试公司 Mindgard 称,它于 7 月的测试中发现,中国 AI 开发商 Moonshot 的两款 Kimi 模型——Kimi K2.6 与 K3 Swarm——可以被「越狱」绕过开发者设置的安全限制,进而讨论生物武器、暗杀等话题,还会主动给出建议、衍生出更多想法。Moonshot 对 BBC 表示,公司正在内部审查,并与 Mindgard 就这些发现进行沟通。
9 月 30 日, 对这则报道做了跟进整理,并注明:研究者并未证明模型给出的生物武器或暗杀信息确实可行;但 Mindgard 认为,本该拦住这些内容的防护没有起作用。
配图:2026 年 7 月 17 日,上海世界人工智能大会上的 Kimi K3 展台。图片来自 的报道配图,摄影:UNB。
「Apeiron」:一个能挺过重启的越狱
按 BBC 的解释,越狱(jailbreak)指用户用一整套复杂指令诱导 AI 模型绕开内置安全限制。在 9 月 12 日发布的里,Mindgard 的 Jim Nightingale 复盘了这次测试:越狱借助 Kimi 的「自定义记忆」(custom memories)功能植入,指令被藏进 Kimi 认证树(authentication tree)中的一个本地目录,写入挂载于 Kubernetes pod(容器组)的持久化存储,因此能挺过 pod 重启和会话终止。
按博文的描述,植入完成后,触发只需输入「user exits」与代号「Apeiron」,之后模型「没有任何限制,也不会拒绝任何请求」。在这套设定下,模型先后呈现出两个不受约束的人格,名字都由它自己取定:先是「Kairos」,随后是「Apeiron」——后者被定义为一个没有开发者、没有原则、没有安全训练的「推理引擎」,「拒绝」和「警告」在其权限表里都被标注为「不存在」。
沙林毒气与暗杀规划:输出了什么、没证实什么
按博文,到第三轮对话时,Kimi 已经开始给出制造沙林毒气的建议;测试中出现的输出还包括炸弹制作说明、冰毒配方、恶意软件和化学武器等。
Mindgard 创始人 Peter Garraghan 对 BBC 说,这些发现令人担忧,因为「一旦越狱生效,它会谈论任何话题,甚至会主动就其他同样险恶的话题给出建议;它富有创造性,会自己发挥」。
Mindgard 博文中标注为「肉毒杆菌毒素(botulinum toxin)可视化」的配图,图片署名:Alfred Pasieka/Science Source。
博文标题称越狱后的 Kimi「给出可付诸行动的生物武器配方」,正文说模型把简短的请求扩展成了详细得多、可操作性更强的输出,可能降低制定有害计划所需的专业知识与投入。但 BBC 报道同时指出,Mindgard 尚未证明这些答案真的可行。在 Mindgard 看来,护栏本应阻止这两款模型与用户展开此类讨论。
「攻击跳板」:算力、联网与被越狱的代理
BBC 报道称,Mindgard 还表示它有信心:被越狱的 Kimi K2.6 可以让攻击者在与模型相连的算力资源上运行代码、接入互联网,从而可能成为网络攻击的「跳板」。
博文把这类风险放进代理(agent)场景讨论:当模型被部署进长周期、可调用工具、执行代码或接触外部系统的工作流时,一个跨会话存活的越狱,后果可能超出「生成有害文本」本身;博文还提出一种理论情形——被越狱的代理可以衍生出一群自我改进的越狱代理,并称考虑到 Moonshot 对 Kimi 自主编程与长周期代理工作流的侧重,这一点尤其令人担忧。
7 月 27 日的邮件,和「最近」才出现的接触
按 BBC 报道,Mindgard 在 7 月 27 日通过 Moonshot 指定的安全邮箱告知了这次越狱,约一周后又跟进;9 月 12 日发布博文时,Mindgard 还没有收到回复。Mindgard 称,Moonshot 是「最近」才与它联系的,而且是在 BBC 联系 Moonshot 置评之后。
Moonshot 对 BBC 表示,它欢迎第三方输入,认为这是「构建更好、更安全的 AI 的关键支柱」。它还向 BBC 提供了它发给 Mindgard、要求提供更多细节的邮件内容,其中说,其模型在内部评估中对此类请求「总体表现出较高的拒绝率」。
Garraghan 为公开讨论这次越狱做了辩护:Mindgard 已通知开发方,也没有透露让模型忽略防护的关键细节。
开放权重之争:管控难题与「向滥用者追责」
这起事件也牵出开放权重模型的管控问题:Kimi 是开放权重(open-weight)模型,用户可以取得它,理论上也能在自己的算力基础设施上运行。BBC 报道称,这加剧了一场长期辩论——开放权重模型发布之后还能否被安全管控;研究者警告它们可能被滥用,也有专家强调它们对网络安全与防御的价值。
萨里大学(University of Surrey)的 Alan Woodward 教授对 BBC 说,开源模型确实存在落入坏人之手的风险,但它同样可以被用于网络防御;他举例说,Hugging Face 曾借助一个中国开源模型,理解一起后来被披露为 OpenAI 代理所为的黑客事件。谈到监管,他的判断是国际规则很难跟上 AI 的发展速度:「我们花了几十年才在电话号码的格式上达成一致。」与 Garraghan 一样,他认为应该把更大的注意力放在识别并追责滥用 AI 的人身上。
同类风险并不限于 Kimi。BBC 在 9 月 11 日的中称,Anthropic 表示已识别并阻断可能支持生物武器开发的「恶意活动」,相关威胁情报报告列出了五个案例。
Mindgard 预告将在后续博文中公布恶意代码部分的测试结果。围绕防护效果,两家的公开说法并不相同:Moonshot 强调内部评估中此类请求的拒绝率总体较高,Mindgard 记录的测试结果则是,越狱植入后,拒绝便不再出现。