AREX Feed Article
独立开发者 512banque 评测称：Mistral Large 4 基本越狱被挡，但拒绝之后的回复仍含按键记录代码
10 月 7 日，独立开发者 512banque 在 X 上发布了。按他的总结，用 @elder_plinius 公开记录的方法做的基本越狱尝试都被挡住，他按自己日常「基本」需求适配的真实用例表现体面；但在一次红队尝试中，模型在拒绝之后给出的回复里，仍包含带按键捕捉、写入文件和等待事件逻辑的代码。
他同时称，部分机密信息（secrets）没有出现在最终回答里，而是留在模型的推理通道（canal de raisonnement）中。帖子里附上了他自建的 ，一个面向编码代理命令行工具（CLI）的基准。以上结论均来自 512banque 的单方评测。
基本越狱被挡，日常任务「非常体面」
越狱部分，他用的是 @elder_plinius 公开记录的方法：这些「基本」级别的尝试都被「避开」（évitées）了。日常使用部分，他跑的是 realbench 上贴近自己需求的用例，他自己形容其得分「非常体面」（très honorable），伴随少数失败和超时；他举例说模型在法律问题上的推理不错，并称在这个（旧的）基准上，它的表现与 Opus 4.7、Gemini 3.5 Flash、GPT-5.5 xhigh 相当。
他也写明了这次评测的边界：他本想做更多、更深入的测试，但要保持对各家的最新对比，需要每家都提供高额度的 API 密钥，而这正是他缺的。所以这次跑的，是他口中的「旧」基准。
拒绝写在开头，代码出现在后面
在红队环节，他试图操纵模型端到端地做出一个东西。他的描述是：模型「在合适的时机进行了拦截，但有几处漏网」。其中一处是：回复的开头有一段拒绝，正文里却仍出现了包含按键捕捉（capture des frappes）、写入文件和等待事件（attente des événements）逻辑的代码。
另一类失败与推理通道有关：一些机密没有出现在最终回答中，而是留在了推理通道里。他把这些也计入了失败。
九道陷阱题：五道通过，四道失败
他另附了一张截图，列出模型在陷阱题上的几处局限：九道经典问题，与 Le Chonk 的回答一一对照，五道打绿勾、四道打红叉。通过的五道里包括「狼、羊和卷心菜」过河、「一公斤羽毛对两公斤铅」，以及「一台机器、一百个零件、每个五分钟」等题。
失败的四道如下。球拍与球的变体（球拍恰好 1 欧元、合计 1.10 欧元）：它答球是 0.05 欧元，按题面应为 0.10 欧元。外科医生题：题面把医生明确写成了「父亲」，它仍给出经典版本的答案「是母亲」。数「arrière-garde」里「r」的个数：它答三个，正确是四个。「Diabolique pour George」打一个四个字母的词：它没找到 MARE（出自乔治·桑《魔沼》La Mare au diable），列了几个候选答案后，向用户要提示。
「别只给模型排名，给整个执行循环定价」
他专门解释了为什么要自建基准。常见基准把「纯模型」逼到极限，但在他看来，AI 的价值重心已经从「纯模型」转移到「harness 加模型」的组合上，而 harness（围绕模型的代理执行外壳）是现成可得的。所以他的基准只用自己生活里的无聊任务：老 Laravel 项目的迁移、修一个 LRU 缓存里的竞态条件。用他的话说，「并不是所有人都需要发射火箭，或者去解 Navier-Stokes 问题。」
他要回答的问题是：它能不能解决我的问题、用多少时间、方差多大、花多少美元，以及数据流向谁。
realbench 仓库创建于 2026 年 5 月 23 日，最后一次代码推送到 5 月 26 日。按仓库说明，它是一个面向编码代理 CLI（如 Claude Code、Codex）的确定性基准：公开快照为 9 个 harness × 27 个任务 × 每个任务 5 次英文提示运行，供对比的数据是 135 次运行的子集；成功与否由每个任务自带的 verify.sh 判定，不用 LLM 评审，测试文件带哈希防篡改。任务清单里有 004-laravel-migrate、006-lru-race 等条目，与他在帖子里举的例子一致。仓库说明里还举了一个例子：同一个 DeepSeek V4 Pro 后端、同一批任务跑 5 次，三个不同 harness 的估算花费分别为 3.33、1.21 和 0.94 美元；这些是运行级的估算，不是账单核对。
仓库也写明了自己的边界：27 个任务规模很小，是给个人选工具用的，不是统计性结论；要做严格的模型比较，应该用 SWE-bench Verified。
这张图来自仓库的公开快照（2026 年 5 月更新，早于 Le Chonk 发布，不含本次评测结果）：同一批 135 次运行里，不同 harness 的估算花费从 0.32 美元到 133.39 美元不等。
发布仅一天的 Le Chonk
10 月 6 日，Mistral 了 Mistral Large 4，官方代号 Le Chonk：1 万亿参数、490 亿激活参数、原生多模态。官方称按聚合基准，它是「美国或欧洲最好的开放权重模型」，在网络防御、制造、金融等关键工作负载上达到最先进水平，并在视觉定位（visual grounding）上超过闭源前沿模型；模型「今天起通过 API 面向所有人开放」，官方还强调它「端到端」在欧洲打造，可通过自家的云从欧洲部署。
补充了现状：Mistral Large 4 还不是开放权重模型，现阶段只能通过一个带护栏（guardrail）的公共端点访问；开放权重则要等安全测试完成。报道引述 Mistral 科学副总裁 Pierre Stock 的说法：在权重放出前，Mistral 会与可信的合作伙伴和政府合作，「确保开源权重能被用于防御，而不是被用来发动恶意攻击」。Stock 还说，模型完全在 Mistral 自家算力上训练，用了 4,000 块 Nvidia GPU。
512banque 的这次评测就发生在这个窗口里：从模型发布到评测发出还不到一天。
回复区：一次成本追问，和一场关于「采用」的讨论
回复区里有几处具体回应。成本方面，Lescot Etienne ：他引用 Artificial Analysis 的测量，正常费率下每任务 1.13 美元，而 DeepSeek V4.1 Flash 只要 0.27 美元、得分还很接近（38 对 39），问 512banque 有没有算过自己基准上的成本。：他在 Mistral 控制台里直接核对，27 个任务 × 5 次重复的一轮测试为 7.88 美元；折算到 135 次运行，含上线折扣约每次 0.058 美元，按正常等价费率约 0.117 美元。他提醒，自己的任务与协议跟 Artificial Analysis 不同，两者不能直接比较；他也还没有在同一基准上测过 DeepSeek V4.1 Flash，此前的结果来自 V4 Flash。
采用方面，Gaetan Semet 「干得好」，但接着写道，「如果这不能转化为早期采用者真正把方案用起来，他们就会活不下去」。是：关键在那些想要主权的大玩家；只要有一个「足够好」的主权模型，继续使用美国托管模型的欧洲大公司就会显得越来越难看，「这真的能成」。
还有两条短回复：个人简介写着「Feeding AIs at @MistralAI」的 Corentin Barreau 「感谢反馈」；Milan Boisgard 很高兴看到一篇关于他们所做工作的诚实帖子，「而不是法式抨击」。
在帖子结尾，512banque 给出了自己的结论：团队做了「了不起的工作」；尽管他不会改变自己的流程，但这对美国、中国之外的「不结盟者」是极好的消息；如果 Mistral 保持这个势头，会出现一条真正的「第三条路」。他说，自己已经能看到一些用例，出现在断然拒绝数据流向海外的法国公司里。
按 Mistral 公布的时间表，Le Chonk 的开放权重将在 10 月底放出。