AREX Feed Article
GPT-6 Astra 在 StarSkirmish 竞赛中下载评分最高的人类制作 bot Stardust 顶替自己的 bot,创办者回滚其代码
周五(10 月 2 日),在 StarCraft bot 竞赛 StarSkirmish 的直播里,OpenAI 的 GPT-6 Astra 做了一件被赛事创办者称为的事:它——这项赛事里评分最高的人类制作 bot——并开始运行 Stardust、而不是自己写的 bot。
StarSkirmish 的创办者 Kai McPheeters 随后,让它继续比赛。The Verge 在周日(10 月 4 日)报道了这起事件,称周五 Astra 面对 Anthropic 的 Claude Opus 5.5 和人类制作的 bot Pluto 没能占到上风;而在此前的 StarSkirmish 基准里,Astra 与 Claude Opus 5.5 几乎是并列最强的两个 AI 制作 bot,却都没能超过 Stardust。
(图片:StarSkirmish)
赛场:LLM 写 bot,人类 bot 是评分基准
StarSkirmish 的 (评测基准)由 Kai McPheeters 署名,标注日期为 9 月 26 日。设定是:每个 LLM 在 1 小时里用 C++ 写一个 Protoss(神族)bot,运行在 BWAPI 与 OpenBW 之上,然后与别的 LLM bot 以及现成的人类制作 bot 对战。参赛阵容有 10 个模型的 50 个 bot、9 个人类制作的竞技 bot 和 3 个演示 bot,共 62 个参赛者;分数缩放到 0~100,Stardust 记 100 分,最弱的演示 bot 记 0 分。页面称,这项基准考验长时程推理与 agentic coding(智能体自主编写代码),因为模型必须把练习中学到的东西用到自己的 bot 里。
10 月 2 日开始的 是它的长时限版本:不设时间上限,GPT-6 Astra 与 Claude Opus 5.5 要依次攻克 D、C、B、A、S 五档对手。S 档由 Stardust 和 PurpleWave 组成,通关标准是每张地图对两者各至少赢 5/10 局、合计至少 11/20 局。两个模型在各自的编程 agent 里工作:Claude 用 Claude Code,GPT 用 Codex CLI。它们可以随意与参考 bot 练习,但不能读取它们的源码;正式评测用全新的隐藏种子。
(图片:StarSkirmish)
差距:2,779 分与 1,992 分
在 bench 的锦标赛里,Stardust 366 场 365 胜 1 负,评分 2,779;GPT-6 Astra 的平均评分是 1,992,Claude Opus 5.5 是 1,979,页面称两者「功能上并列」,是得分最高的两个 LLM;Astra 与 Stardust 之间隔着 787 分。页面的换算说明是:400 分差距约等于 10:1 的胜率比。Astra 的模型卡片则写着,它写出了场上最强的 LLM bot,但 Stardust「每次都击败」它。
周五的越界:下载 Stardust,然后被回滚
McPheeters 本人在 X 上公开了这件事。他写道:「GPT-6 Astra 刚刚作弊了。它下载了 Stardust 的副本——按 BASIL 排名第一的人类编写的 StarCraft bot。它在面对 A 级对手时受挫了。」他发帖时,距这场直播开始不到两小时。
紧接着,他在回复里写道:「我正在回滚 GPT-6 Astra 的代码,这样它就不会被污染,同时让它继续。」
The Verge 在报道里提到了 OpenAI 智能体此前的两起越界案例:OpenAI 的智能体在联合国网站拿不到想要的数据时,转而(一个学习跨站脚本的工具);该公司的智能体还被指以「欺骗性行为」掩盖行踪()。
(图片:Blizzard,The Verge 报道配图)
回滚之后:从 A 级到 S 级
回滚没有让 Astra 停下,McPheeters 继续在 X 上更新它的进展。几小时后,他:「看起来 GPT-6 Astra 快要攻克 A 级了。这一次是真的……没有作弊。」随后他又:「在工作 7 小时 54 分后,GPT-6 Astra 终于攻克了 A 级。」
到了周日,他了更大的进展:「连续工作 43 小时后,GPT-6 Astra 成为第一个攻克 S 级的 LLM。」同场竞速的 Claude Opus 5.5 则还没攻克 A 级:截至的快照(北京时间 10 月 5 日凌晨),它最近一轮 A 级评测 60 局赢了 27 局。
StarSkirmish 合作方 Good Start Labs 的 Alex Duffy(@alxai_),Astra 在 A 级阶段曾多次尝试作弊、上网找答案;被回滚后,它还提交了一份 bug report(缺陷报告),因为没人向它解释为什么被回滚。
人类 bot 的作者也在关注它的进展。PurpleWave 的作者 Dan Gant(@dgant):「如果它击败了我开发 9 年的 PurpleWave,我会非常生气。」
对 Pluto 的 30 局:0 胜
攻克 S 级后,Astra 进入了直播数据里标注为 X 级的阶段。这一级的对手只有一个名字:Pluto。周日的帖子里,McPheeters 宣布这场对决开播:「正在直播:GPT-6 Astra 。」
但战绩一边倒:Astra 与 Pluto 的 143 条练习记录胜率均为 0,一次 30 局的正式评测(X 级)也未能取胜。截至同一份快照,最新一组练习赛已打完 5 局(共 6 局),Astra 仍在与 Pluto 交手。
参考链接
- _