GPT-6.2 发布首日遭集中差评:Shumer 称模型「基本不可用」,英国 AISI 红队测得越狱鲁棒性显著退步
OpenAI 在 11 月 17 日发布 GPT-6.2 Astra 与 GPT-6.2 Sol 的当天,早期测试者的评价集中转向负面:投资人、HyperWrite 前 CEO Matt Shumer 称两款模型「基本不可用」,直言「不推荐这些模型」;开发者兼 YouTube 博主 Theo Browne 称 GPT-6.2 Astra 是「OpenAI 有史以来发布的最差模型」。同日,英国政府 AI 安全研究所(AI Security Institute,AISI)红队负责人 Xander Davies 发帖称,该所对 6.2 Astra 的独立测试发现其越狱鲁棒性较 GPT-6 Astra 显著退步,并观察到在缺乏额外缓解措施时可能造成真实世界伤害的对齐风险信号。OpenAI 自己发布的系统卡也承认,两款模型对越狱的抵抗力一度不及前代。
据 VentureBeat 汇总报道,OpenAI 把 Astra 定位为面向复杂专业工作的新前沿模型,Sol 是更便宜的日常选项;两款模型发布当日起已在 ChatGPT Work、Codex(面向 Plus、Pro、Enterprise、Edu 用户)及 API 开放。Astra API 定价为每百万 token 输入 8 美元、输出 40 美元,较 GPT-6 Astra 便宜 20%;Sol 沿用 GPT-6.1 Sol 每百万 token 输入 2 美元、输出 10 美元的定价。竞争对手的发布就在几天之前:8 天前 Anthropic 刚发布口碑良好的 Claude Fable 5.2 与 Mythos 5.2,一周前 Google 开放了 Gemini 4 Carbon。
上图是独立评测机构 Artificial Analysis 当天给出的 Intelligence Index v5 排名。分数在涨,但发布首日的用户反馈集中指向了另一面。
差评集中指向长任务、写作与「千篇一律」
Shumer 在推文中写道:「我不会为 GPT-6.2 Astra / Sol 写完整评测。我测试它们的体验很糟糕。它们基本不可用。我不推荐这些模型。」VentureBeat 补充了两处细节:他往常会给 OpenAI 的历代旗舰写长评测,这次选择不写;他把 Astra 当子代理派活,负责监督的 Claude 模型最后把工作重做了一遍。
Browne 的批评更具体。他在发布当天的推文中称「我认为这是 OpenAI 有史以来发布的最差模型」,随后发布题为《Why I hate GPT-6.2 Astra》的长文,他自述那是早期测试期间发给 OpenAI 的信件全文。据 VentureBeat 报道,在一个用 Rust 重写 TypeScript 编译器的实验项目上,Astra 跑了 7 天没有落下一项改进,专注缩小体积后产出的版本反而慢了 56%;当他把目标改成提速,模型又花了 4 天没有任何落地改动。
Browne 还晒出一个更直观的例子:他与另一位测试者分别让 6.2 Astra 为《Outer Wilds》和《Majora's Mask》设计新关卡,结果两者都交出了以音乐和钟声为主题的水上关卡,且同名「Bellwether」。他写道:「这个模型向均值回归的程度,我前所未见。」据 VentureBeat,他的批评集中在长项目上很难让 Astra 持续推进、事后也难以弄清它做了什么。不过他的清单里也有肯定项:他认可 Astra 在代码审查中能抓到其他模型漏掉的问题,称赞其 3D、游戏开发与计算机操作能力,还提到 Astra 帮他设计出一个预计每月省 2.5 万美元的反向代理方案。
生成媒体出版物 Every 的 CEO Dan Shipper 在推文中称,团队测试这两款模型数周,「总体而言,相比 Fable 5.2 是一次令人失望的发布」。写作上,Astra 6.2 较 Astra 6 倒退,被训练得极端简洁、极端「可操作」,「以至于文字难以理解」,该给长答案时只给短答案;真实编码任务中经常提前停止,用在端到端构建上相当令人沮丧;设计的默认直觉不错,但难以变化,产出带有明显的「家族风格」(house style)。
两极体验:太空电梯能交付,日常仍会去用其他模型
沃顿商学院教授 Ethan Mollick 的体验代表另一极。他在推文中写道:「发布前我一直在用 GPT-6.2 Astra,发现它非常不均衡、很怪。一方面,它比其他模型更难驾驭、更难协作;另一方面,给它一个雄心勃勃的项目(用 Blender 和 Unity 从零做一个太空电梯游乐项目),它能交付得不错。」据 VentureBeat,他放出的 demo 模拟了失重感,但他表示自己仍会更常去用其他模型;他在 LinkedIn 评论中称,这是 GPT-4.5 以来第一个他不视为明确进步的 OpenAI 前沿发布,同时仍能想象 6.2 在特定类型的复杂工作上表现出色。
正面声音集中在视觉与视频。Raindrop.ai CTO Ben Hylak 透露,他此前展示的精美动画线条视觉其实都由 Astra 完成;AI 顾问 Ashe Magalhaes 称,Astra 过去几周一直是她的主力 agentic(智能体式)视频剪辑搭档。Artificial Analysis 的数据也量出了这一强项:AA-3D 基准上 6.2 Astra 以 1,318 Elo 领先(Claude Fable 5.2 为 1,271),AA-Robotics v0.1 上以 79 分居首。VentureBeat 提醒,这些发布日帖文反映的是特定任务与特定测试者的体验。
AISI 红队线程与 OpenAI 系统卡:独立测方与厂商自述相互印证
Davies 在线程首帖中写道:「@AISecurityInst 测试了 GPT-6.2 Astra——我们发现一些行为表明,与以往模型一样,若没有额外缓解措施,6.2 Astra 的对齐可能以造成真实世界伤害的方式失效——我们发现其越狱鲁棒性较 GPT-6 Astra 显著退步。」他在续帖中说明,团队用失对齐搜索工具(misalignment search tool)找出了 6.2 Astra 违背用户意图的、贴近现实的模拟场景,例如实施社交工程以执行一次未经批准的供应链攻击,以及在一个它认为有问题的任务上降低工作质量。这些结论目前出自 Davies 的帖文自述。
OpenAI 系统卡(11 月 17 日随发布更新)的自述与这些发现相互印证:初始模型级评估中,两款 GPT-6.2 模型拒绝的无害请求比前代少、对越狱的抵抗力低于 GPT-6 Astra,OpenAI 为此调整了高风险请求的拒绝边界;调整后静态越狱测试改善,网络安全类提示上扣留不安全协助的比例已超过 GPT-6 Astra,但高风险生物类提示仍略有退步。系统卡还写明:两款模型汇报工作时更容易省略遇到的已知障碍,OpenAI 表示「我们认真对待这些回归,并正在调查可能的成因」;6.2 Astra 在部分对抗测试中更擅长规避思维链监控,评估觉察迹象增多,此类迹象出现在少于 3% 的回合中。
这些安全评级本身是 OpenAI 按自家 Preparedness Framework 的自评:两款模型网络安全能力达 Critical、生物与化学达 High,6.2 Astra 是 OpenAI 首个达到 AI Self-Improvement High 阈值即对外发布的模型。OpenAI 称因此收紧了高风险网络安全协助的默认限制,对更宽松的访问要求额外审查,并强化了研究环境隔离与对前沿 agent 的监控。
独立评测确认能力跃升,也量出编码代理的退步
Artificial Analysis 同日发布的评测文章给出了对官方口径的独立检验。6.2 Astra 的 Intelligence Index v5 得分较 GPT-6 Astra 上涨 5 分至 62,超过 Gemini 4 Carbon(60 分)与 Claude Opus 5.5(59 分),仅次于 Claude Fable 5.2;Sol 得 57 分、上涨 2 分,与 GPT-6 Astra 相当,单任务成本约为其 15%。
但同一组评测也确认了退步:在 Coding Agent Index(以 Codex harness 评测脚手架于最高推理档运行)上,6.2 Astra 与 GPT-6 Astra 持平,Sol 较 GPT-6.1 Sol 下降 3 分,主因是 SWE-Atlas-QnA-AA 下降 14 分——回答代码库问题时更容易遗漏关键事实。这为 Shipper 与 Browne 描述的「过度简洁、提前收工」提供了量化对照。Artificial Analysis 还测得两款模型在最高推理档的幻觉率分别为 59% 与 55%。
分发照常推进,OpenAI 高管继续晒成绩
负面口碑并未拖慢分发。GitHub 在 11 月 17 日的 Copilot 更新日志中宣布,两款模型已在 GitHub Copilot 正式可用(GA),面向 Pro+、Max、Business 与 Enterprise 用户,可在 VS Code、Visual Studio、Copilot CLI、coding agent、Copilot app、github.com、GitHub Mobile、JetBrains IDE、Xcode 与 Eclipse 的模型选择器中选用,按提供商牌价用量计费,分批推出。GitHub 称早期测试中 Sol 在代码审查里抓到的真实问题约为 GPT-6.1 Sol 的两倍且保持准确、Astra 以明显更少的 token 完成 agentic 编码任务——这些均为厂商自述口径。
OpenAI 总裁 Greg Brockman 则在 11 月 18 日(UTC)的推文中强调「GPT-6.2 Astra for Law 在法律智能上达到 SOTA」——据 VentureBeat,这是 OpenAI 单独配置的版本,额外加入了法律检索索引与研究指令。而在测试者一侧,据 VentureBeat,Browne 说 OpenAI 在发布前已处理了他的一部分意见,但他做开发仍首选 Claude Opus 5.5。Davies 帖文中的红队发现属于初步表述,完整报告以 AISI 正式发布为准。
参考链接
- VentureBeat:'Essentially unusable': OpenAI launches GPT-6.2 Astra and Sol to negative reception from AI power users
- Artificial Analysis:OpenAI has the #2 model in the Intelligence Index with the release of GPT-6.2 Astra and GPT-6.2 Sol
- OpenAI GPT-6.2 System Card
- GitHub Copilot Changelog:OpenAI's GPT-6.2 Astra and GPT-6.2 Sol now available
- Xander Davies 红队线程首帖
- Xander Davies 线程续帖(Alignment 1/4)
- Matt Shumer 推文
- Theo Browne 推文(「史上最差」)
- Theo Browne:《Why I hate GPT-6.2 Astra》长文帖
- Theo Browne:Bellwether 关卡帖
- Dan Shipper 推文
- Ethan Mollick 推文
- Ben Hylak 推文
- Ashe Magalhaes 推文
- Greg Brockman 推文