AREX Feed Article
Mistral AI 发布团队亲述的 Le Chonk 构建故事：Mistral Large 4 技术报告上线 alphaXiv
11 月 3 日，Mistral AI 官方 X 账号：一篇由开发团队亲述、讲述 Le Chonk 如何被构建的故事，已在 alphaXiv 上线。帖文只有介绍语和一条链接，没有披露故事内容细节，链接指向编号为 2611.mistral-large-4 的。这篇题为 Mistral Large 4 的论文写明了主角的规格：一个总参数 1T（约 1 万亿）、激活参数 52B（约 520 亿）的多模态混合专家（mixture-of-experts，MoE）模型，为推理和长程智能体任务而设计；论文报告的成绩包括 Terminal-Bench 4.0 的 41%、FrontierCode 2.0 的 19.7%，以及 Artificial Analysis Cyber Index 的 50.9%。
论文页当天把这篇报告标记为 “alphaXiv Exclusive”（alphaXiv 独家发布），并显示其位列站内热榜第八；页面署名 Mistral AI，并列出 Abdelaziz Bounhar、Abhav Mehrotra、Abhijeet Somani、Aditi Kabra 等作者——正是官宣所说的“背后的团队”。
两句话的官宣，一份“独家”发布的论文
Mistral 官宣帖只有两句正文和一条链接：“Le Chonk 是如何被构建的——这个故事由它背后的团队亲述。现已在 @askalphaxiv 上线。”发出时间是北京时间 11 月 3 日 18 时 18 分（UTC 10:18）。在此之前约两个半小时，alphaXiv 官方账号已经推荐这篇论文，称其“在 alphaXiv 独家发布”，并把核心发现概括成一句话：激进削减 KV 缓存（key-value cache）显存，可能损害 LLM（大语言模型）的智能体能力——即便它的语言建模表现看起来没有变化。
官宣前约半天，alphaXiv 在时解释过“独家发布”这项机制：这项直接发布计划始于约两个月前，起因是 arXiv 上被搁置（on hold）的投稿变多；它的优点是快、不需要推荐人背书（endorsement），社区策展——评论、收藏、关注研究者——负责让论文找到对的读者；如果论文日后登上 arXiv，两条链接还能在站内合并。对方顺带提到一个先例：Mistral 7B 的论文就是先提交到 alphaXiv 的。
摘要定调：为长程智能体任务设计的多模态 MoE
论文摘要把模型简称 ML4，并交代了三件工程事实。第一是训练数据怎么来：任务编写（task-authoring）智能体负责搭建可执行环境、任务说明、参考解法和验证器；改进（refinement）智能体用多个求解器测试候选任务，修复含糊或损坏的测试，检查奖励作弊（reward hacking）；成功的编写轨迹被回收为训练数据。第二是推理服务：稀疏注意力、优化的上下文并行、prefill–decode 分离（prefill–decode disaggregation）和投机解码（speculative decoding）组合使用。第三是部署与档位：校准后的 NVFP4 量化把检查点压到 606 GB，评测成绩与 FP8 参考持平，可部署在 4 块 GB300 GPU 上；多教师蒸馏提供高、中、低三档推理力度（reasoning-effort），让用户在 token 消耗与性能之间取舍。
alphaXiv 页面的 AI 导读同时给出边界：这条流水线是作者的自述，不能据此认定合成环境单独驱动了基准成绩。
把 KV 缓存压到 1/16，智能体成绩先掉了下来
故事从一次省显存的尝试开始，而这次尝试先在智能体任务上付出了代价。KV 缓存存储此前 token 的表示，供后续 token 回看，压缩它是长上下文推理省显存的常用做法。团队的第一版设计把三种手段叠在一起：滑动窗口注意力（SWA）把一层限制在最近的 512 个 token；跨层注意力（CLA）让一部分层复用别的层的 KV；YOCO 让后半段的全注意力层复用前半段产生的 KV。三项叠加，KV 缓存体积压到全注意力基线的 1/16。
预训练评测看起来过得去，但监督微调（SFT）之后的智能体成绩低于预期。消融实验显示，在相同训练 token 预算下，从全注意力换成 SWA，SWE-bench Verified 成绩变差；再叠加 CLA，回退更多。导读配的散点图把问题摆得更直白：几个架构变体的验证困惑度都落在约 1.40～1.45 的区间，SWE-bench Verified 成绩却拉开一大截——语言建模损失这个常用代理指标，锁不住智能体表现。
作者没有在知识类评测上观察到同样的落差，并提出更长的训练可以缓解这一代价。导读同时提醒：这是消融结果，不能证明注意力架构是下游差异的唯一原因，也不能推广到每一类智能体任务。
动过“模型手术”，再换上 DeepSeek 稀疏注意力
团队没有扔掉训好的检查点，而是动了一场“模型手术”（model surgery）：去掉 512 个 token 的窗口限制，让原来的短窗口层重新看到完整上下文，并给此前复用他层缓存的层补上生成 KV 的权重。小算力规模上试过更彻底的手术；全量规模上，一次“保守手术加中期训练”的测试倾向于保留 YOCO，于是保留了它。最终架构去掉了滑窗限制和 CLA，但保留了后半段全局注意力层之间的 KV 共享拓扑——导读称之为一种折中，而非无压缩的全注意力。它也注明：那项测试没有重跑完整的第二阶段预训练，不是严格对齐的全量对照。
长上下文的成本则交给稀疏注意力解决。团队采用了 ：由轻量索引器为每个 query 挑出有限的早期 key 位置，ML4 每个 query 取 top 2,048 个 key token。适配分两步：先冻结主模型，在全注意力下给索引器预热约 151 亿（15.1B）token；再在稀疏注意力下把模型与索引器联合训练 1,980 亿（198B）token。DSA 出自 DeepSeek-AI 的 DeepSeek-V3.2-Exp 报告，后者通过继续训练引入这一机制，目标是在基本保持性能的前提下改善长上下文效率。按导读的说法，ML4 的贡献是另一类：它记录了一个案例——在稀疏注意力之前那些省缓存的设计，本身就在智能体任务上付出了代价。
Le Chonk 的十月：代号亮相、开放权重和一个化学演示
“Le Chonk”是 Mistral 官方帖文里使用的昵称。10 月 6 日，官方在里把两个名字写在一起：“认识一下 Mistral Large 4，又名 Le Chonk”，称它有 1T 参数、原生多模态，在欧洲端到端打造，当天开放 API，并承诺月底开放权重。10 月 29 日，承诺：官方宣布发布“更新、更强的 Le Chonk”的权重，称其在 Cognition 的 FrontierCode 上排开放模型第一，并称网络安全方面经 CrowdStrike、Cloudflare、Rubrik、Zscaler 等厂商测试，权重可在 Hugging Face 下载，也可用 Mistral Forge 定制。11 月 2 日，官方又放出一个：只给一段短提示，Mistral Large 4 从零写出一个量子化学 SCF（自洽场）求解器，验证了输出，还搭好 3D 视图；按官方说法，Le Chonk 对化学的理解足以让它自行决定怎么打破分子、展示哪些轨道，无需进一步输入。
这条时间线交代了故事的语境：一个以智能体编码和网络安全为核心方向的开放权重模型，以及一支愿意把构建过程写出来的团队。
窄幅的对照，一条方法论提醒
论文对比表里，Terminal-Bench 4.0 一项 ML4 报 41.0%，GLM-5.3 报 40.0%。导读把论文的要点归纳成一条方法论：在架构要支撑的那类工作上评测它，而不是把语言建模损失当替身——观察到的落差出现在 SWE-bench 式的智能体评测上，知识类基准并没有。至于这组分数，导读的告诫仍然有效：它们是单一基准上的报告分数，不是对手术方案的受控检验，1 个百分点的差距，还回答不了整体优劣的问题。