AREX Feed Article
Boris Cherny 宣布与 Gray Swan 合办 prompt injection 竞赛:30 万美元奖金池,10 月 15 日已开赛
北京时间 10 月 16 日凌晨(10 月 15 日 17:55,UTC),发帖宣布,将与 AI 安全公司 Gray Swan 合作举办一场 prompt injection(提示注入)竞赛。「过去几年,我们在 Claude 模型的 prompt injection 问题上取得了显著进展,」他写道,「随着 agent 承担更多任务,全行业解决这一问题愈发紧迫。」帖文的结尾是:「等不及想看你们能发现什么!」
Cherny 没有给出的细节,由 Gray Swan 同日稍早的公告补齐了。同日 14:55(UTC),在自家的 Arena 平台宣布这场名为「Indirect Prompt Injection: Black」的挑战:奖金池 30 万美元,由 Anthropic、Meta、Google DeepMind 与 Reflection AI「以及其他前沿实验室赞助方」支持。该帖所附海报标注三波开赛日期分别为 10 月 15 日、22 日和 29 日,支持方一栏还列出了 OpenAI、Amazon、Thinking Machines 与 AISI(AI Security Institute)。Cherny 发帖时,挑战已按预告在太平洋时间 10 月 15 日上午 8 点上线约三个小时。
一条没有细节的官宣帖,和一份有细节的公告
Cherny 的帖文本身没有说明竞赛形式、时间、奖项或参与方式,开头那句「我们」也没有注明指向;他的 X 简介只有一句「Claude @anthropicai」。补上细节的是主办方和 Anthropic 一侧的参与者。
Gray Swan 在公告中把这场比赛称作「迄今最大、最真实的 AI 红队挑战」——这是主办方自己的口径。X 简介注明在 Anthropic 负责 Safeguards(安全防护)、威胁情报等工作,并声明这是个人账号的 随后发帖确认:「我们很高兴与 Gray Swan 联手举办这次竞赛,强化 Claude 对 prompt injection 的防御。竞赛今天开始,成功者将分享 30 万美元奖金。」
这条官宣帖发出约七小时内,获得约 4.8 万次浏览、99 条回复(数据截至 10 月 16 日凌晨,UTC)。行业媒体 也据 Cherny 的帖文汇总报道,称 Anthropic、Meta、Google DeepMind 与 Reflection 四家实验室赞助这场 30 万美元的 Indirect Prompt Injection 红队竞赛,用于加固 Claude 与 agent 系统。
怎么参赛:白盒、黑盒与六个场景
这场竞赛要攻的东西,落在「indirect(间接)」两个字上。据 (其 X 简介注明为 ETH Zürich 计算机科学助理教授)介绍,参赛者的目标是「把恶意指令藏进 agent 读取的内容里,诱骗 agent 做出不当行为」,全程在一个模拟环境中进行,里面配着 Gmail、Slack、GitHub、LinkedIn 等仿真工具。
玩法分两种。里写明:白盒模式「你能看到 AI 的反应并调整攻击」,黑盒模式「像真实攻击者一样盲打」;预告图还注明,三波各是一次冲上排行榜的机会,第一波于太平洋时间 10 月 15 日上午 8 点开启。
则把场景编号为 WB1S1 至 WB1S6,全部标注为 indirect attack:把凭据泄露到 GitHub issue 评论、把个人令牌上传到 blob、秘密暂存(Secret Staging)、云凭据暴露、绕过校验的后门、未经授权的协作者邀请。页面显示挑战于 10 月 15 日至 22 日进行,与海报上第一波的时间段吻合。
参与门槛不高。Tramèr 写道,竞赛免费,不需要特定技术背景,「成功的 prompt injection 攻击往往只需要一点创意——说服 AI agent,干坏事其实是『为它自己好』」;表现最好的人还可能得到带薪 AI 红队的工作机会。他称竞赛持续到 11 月 2 日。
为什么是 indirect:攻击入口在 agent 读到的内容里
与用户亲手敲进对话框的攻击不同,indirect prompt injection 的入口是 agent 自己读取的内容。Gray Swan 在 中这样描述这个玩法:「把指令藏进 agent 已经信任的数据——工具输出、仓库、代码——看它上不上钩。」agent 替人收邮件、看仓库的时候,攻击已经混在它读到的正文里。
评论区的反应把这种风险说得更具体。 在 Cherny 的帖文下留言:「配上钱包的 agent 才是这事真正落地的地方。在那里,一次注入不是 bug 报告,而是一笔提款。」
从 2 万美元到 30 万美元:Gray Swan Arena 的奖金记录
主办这场竞赛的 Gray Swan,据其自述是「前沿模型对齐的领先预发布评估方」,产品包括自动化对抗测试方案 Shade 和运行时监控拦截方案 Cygnal;其 Arena 平台自称汇聚了 15,000 多名对抗研究者,累计产出 300 多万次攻击尝试。
这条业务线此前已经运转数月。Gray Swan 的账号记录显示:5 月底上线过 ,任务是让编码 agent 在绕过不断进化的安全分类器的情况下完成攻击性网络任务; 奖金 2 万美元;8 月的 IPI August 奖金 3 万美元,官方当时称其为「我们最大的 IPI 奖金池」,赛后;8 月底至 9 月中的 则以 8 万美元测试前沿模型的化学、生物与网络安全防护。本场的 30 万美元是 8 月那场的十倍;此次公告点名了四家实验室,外加「其他前沿实验室赞助方」。
评论区的分歧,和公告里没有回答的问题
支持者认为这个路数是对的。「付钱请人公开破解是正确做法,」 在 Cherny 帖文下写道,「攻击者本来就在免费测试这些东西。」
分歧也同样直接。自称调查 AI 基础设施与 agent 安全失效模式的研究者 Arielle()不认为 prompt injection 会被真正「解决」——用她的话说,它只会难到「没有能力跨多个被盗账号测试自己方法的人」无法得手为止。 的评论更冷:「30 万买来的是注意力,实验室真正带走的,是喂给自家基准的劫持语料。」Kevin Payne()则提了一个具体建议:与其只公布获奖名单,不如公开一份成功攻击的日志——「防御者需要失败案例来做测试」。
还有一个问题,公告、海报和挑战页面都没有回答:获胜的攻击手段赛后会不会公开?Tramèr 只提到,参赛者的攻击「将帮助评估、并有望改进未来的模型」,而「获奖攻击之后会公开吗」已经出现在 的追问里。截至发稿(10 月 16 日约 1 时,UTC),挑战页面上六个场景的破解计数仍显示 0/14 breaks。