AREX Feed Article
Hugging Face 宣布复现 MIT Weight-Space Programming：公开改写后 Qwen3.5-0.8B 权重与可运行 demo，复跑 MATH-500 报 51.0%
11 月 3 日 08:56 UTC，Hugging Face 机器学习工程师 Niels Rogge 宣布，HF 已用其开源 AI 研究 harness（实验框架）「ML Intern」端到端复现 MIT「Sparks of Weight-Space Programming」博文的结果，并公开两件可查产物：与（在线演示页，检索时显示 Running on Zero）。载明：按博文原协议在 NVIDIA H200 上复跑全量 MATH-500——500 题、每题 4 采样、共 2,000 次生成——改写后模型得 51.0%，高于博客自报的 48.1%；31.6% 的回答在 32,768 token（词元）上限处被截断（博客自报 33.1%）。
这条线的起点是 11 月 2 日：MIT CSAIL 博士生 Rikiya Takehi 与 Jayden Teoh、Alex Zhang、Omar Khattab 在中宣布，OpenAI 的 GPT-6 Astra 无需梯度、不做训练，直接改写了 Qwen3.5-0.8B 的 0.016% 权重，修复 Qwen 官方模型卡也警示过的推理循环问题，自报 MATH-500 从 7.9% 升至 48.1%、IFEval 指令遵循约升至 3 倍，并把这一做法命名为 Weight-Space Programming（权重空间编程）。 次日报道了这项研究。在此之前，博客成绩只有发布方自报口径，改写后的权重也没有随博文公开。
复现流水线：ML Intern 重建编辑、逐张量哈希校验、H200 复跑 2,000 次生成
Rogge 在推文中写道：“我们 @huggingface 复现了这篇论文！！”，并说明复现「基于 ML Intern 构建——一个用来做 AI 研究、训练模型等的开源 harness」。模型卡则把实际运行归给 AI 助手：复现由运行在 HF Jobs 上的 ML Intern 于 11 月 2 日端到端完成——先用作者自己发布的 apply_edit.py 在 CPU 上重建这次编辑，对每个重建张量与实际评测用的 checkpoint 逐个做 sha256 校验，两个张量全部通过，然后推送 checkpoint、在 H200 上跑基准验证。
重建之所以可行，是因为作者在 公开了全部实验日志，Experiment 8 的权重编辑以对公开基座权重的精确 diff（差异文件）形式给出并附应用脚本。模型卡引用的编辑路径是 exp8_math/runs/p50c/edit/，仓库 README 显示该实验覆盖 10、25 和 50 次前向传播预算的运行。
这次编辑的范围本身很小：131,072 个权重，对应第 15 层和第 19 层各自 MLP（多层感知机）down_proj 中的 64 个输出列；与公开的 Qwen/Qwen3.5-0.8B 基座权重相比，只有这两个张量不同。复跑环境为 vLLM 0.33.0、transformers 5.20.2、math-verify 0.9.0，采样设置照搬博文：thinking（深度思考）模式开启、temperature 0.6、top_p 0.95、top_k 20、presence_penalty 1.5、最多生成 32,768 个新 token、seed 0，取最后一个 \boxed{} 用 math-verify 判分。全量 2,000 次生成共产出 4,340 万 token，在 H200 上耗时 51 分钟。
结果表并列两套数字：改写后模型 51.0%（博客 48.1%），撞上限比例 31.6%（博客 33.1%）；基座模型只做了 25 题抽测，得 5.0%、95% 撞上限（博客全量自报 7.9%、93.0%）。模型卡还交代一处刻意替换：博文实验评测的是模型的纯文本导出，这个 checkpoint 是完整多模态发行版——语言模型张量经哈希校验一致，文本提示用不到视觉部分。按模型卡的说法，这是「博文中没有放出的那个模型」，改写后的权重随模型卡公开，任何人可下载检验。
幅度之争：重测者称「6 倍提升」主要来自修复 thinking 循环
在 HF 公布复现前约 8 小时，用户 Binkg（@dummerspast39）于 11 月 3 日 00:40 UTC 发布质疑这项工作的幅度表述，自称“翻完 Astra weight programming 线程和他们自己的日志后亲手测了一遍”。其核心论点有两条。其一，「数学最多 6 倍」的对比建立在 thinking 模式的循环病理上：基座在该模式下反复输出“wait”加同一段计算直到 token 上限，93% 的回答跑不完——这与博文自报的 93% 撞上限率一致，博客也引述了 Qwen 官方模型卡对该问题的警示；而按他的重测，默认非 thinking 模式、零改动时基座在 MATH-500 上约 47%，Astra 改写后 48%。其二，修复手段并不神秘：编辑是把两个矩阵沿重复方向的反向推，强度靠对数千份测试答案的试错挑出，提示词本身就把任务递到了 Astra 手上（“如果模型重复自己且永远做不完，就修掉它”）。
他对博文其余演示也逐条给出替代解释：爬坡任务里 10 个权重被设为数百（最大 876），相当于“先倒车再全油门”的硬编码规则压过整个网络，且每次都在同一关卡测试，100% 成功率等于一段成功运行重放 1,024 次；Breakout「20 倍于 PPO」的对比中，Astra 拿到了游戏源码、把「把球拍移到球落点」写成权重（96% 的权重为零），而 PPO 基线多数运行只得约 6 分，另外两个游戏里 Astra 反而输给同一个 PPO；辨认游戏任务中，Astra 把 Freeway 的网络答成 Frogger，仍被计为正确；谄媚识别在只给权重时 4 次全败，其中 3 次接近五五开。
这些是 Binkg 的个人重测与读日志结论，未经独立审计；帖子来自一个检索时约 4,364 粉丝的账号，但传播量不小——617 赞、约 6.8 万浏览。HF 的复现能回答其中一部分：51.0% 印证改写后 checkpoint 在原协议下确实是这个量级，基座 25 题抽测也复现了 thinking 循环病理；但它没有公布全量基座对照，也没有非 thinking 基线，Binkg 的 47% 数字目前只出自其个人重测。
第三方跟进：Writing Weights Index 基准与个人复现声明
围绕这篇博文，两天内接连出现两类第三方动作。普林斯顿博士生 Xingyu Dang（自述为 PrincetonPLI 在读博士、曾在字节跳动 Seed 做预训练）于 11 月 3 日 01:28 UTC 发布：他基于当天这篇 Weight-Space Programming 帖子跑了一个新基准 Writing Weights Index，结论是开源模型在「直接写出神经网络权重」的任务上普遍吃力。具体数值只出现在推文附图中，方法未经独立审计；这条推文检索时获 839 赞、约 21.8 万浏览。
更早的 11 月 2 日 22:01 UTC，Alex Krentsel（自述为伯克利 EECS 自主系统博士、Google Research 高级研究员）称当天已复现博文结果，并补充个人判断：“这是一种新的、阶跃式（step-change）涌现能力，只出现在最新的一批模型中。”帖文未附复现细节或数据，检索时获 6,599 赞、约 43.8 万浏览。
尚无定论：2.9 个百分点的出入与缺失的基座对照
HF 的复现让两件事有了公开落点：改写后的权重本身，以及原协议下的 51.0%。但复现与评测数字仍出自 HF 一方的报告，且模型卡把 51.0% 与博客自报的 48.1% 并列给出，未解释差异来源。幅度之争也没有收口：「提升 6 倍」在多大程度上只是修复 thinking 循环的产物，取决于非 thinking 基线的真实分数——博客与 HF 公布的基座数据都在 thinking 模式下测得，回答不了这个问题。The Register 引述团队说法，下一步是构建 weight-space programming 的评测基准与 harness，「把目前看起来像黑魔法的东西，变成严谨、可复现的工程学科」；报道中，递归自我改进与避免灾难性遗忘均以设想口吻出现。Dang 的 Writing Weights Index 是这轮讨论中出现的一个第三方基准尝试。