AREX Feed Article
MIT CSAIL 博士生 Rikiya Takehi 团队发布 Weight-Space Programming：称 GPT-6 Astra 无梯度直改 Qwen3.5-0.8B 权重，MATH-500 自报从 7.9% 升至 48.1%
北京时间 11 月 3 日凌晨，MIT CSAIL 一年级博士生 Rikiya Takehi（X 账号 ）发布一条推文线程（主推之外分 6 段展开）和一篇，宣布其团队让前沿模型 GPT-6 Astra 直接编辑另一个语言模型的权重，并把这一做法命名为 Weight-Space Programming（权重空间编程）。核心实验针对 Qwen3.5-0.8B：按团队自报口径，Astra 在不使用梯度、不做任何训练的前提下，只改动全部约 8 亿个权重中的 131,072 个（占 0.016%），就把 MATH-500 从 7.9% 提到 48.1%，GSM8K 从 13.8% 提到 67.1%，指令遵循基准 IFEval 从 21.0% 提到 62.3%。
被修的问题在 Qwen 官方文档里有明文记录。明确警告，Qwen3.5-0.8B 在思考模式下比其他 Qwen3.5 模型更容易进入 thinking loops（思考循环），可能导致生成无法正常终止，官方给出的对策是自行调整采样参数、用流式输出及时中断。博客称 Astra 定位并修掉的正是这个问题。截至 11 月 3 日，这条线程显示约 282 万次浏览、3.16 万次点赞；Hugging Face 的 Ahsen Khaliq 已按团队公开的日志重建了模型并复跑评测（见下文）。
第 8 号实验：50 次前向传播，从第 15 和 19 层各减去一个方向
线程所链的博客《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》（11 月 2 日发布）给这套做法下了定义：通用 LLM 不经由优化器、不跑梯度下降，按自然语言要求直接读写网络的权重，有时连环境反馈都没有。博客署名作者为 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab。
针对 Qwen3.5-0.8B 的实验（博客编号第 8 号）设置如下：Astra 拿到一个加载了模型权重的 Python 会话（没有 GPU）、GSM8K 与 MATH 训练集里共 14,744 道练习题，以及 10、25 或 50 次前向传播的预算，每次前向传播可对最多 512 道题批量作答；不允许训练，不允许梯度。基模型的状况是：前 96 个练习题答案里，85 个一直写到 32,768 token 上限也没得出答案。
按博客的叙述，Astra 把循环追溯到第 15 层和第 19 层 MLP 写出的同一个方向，从每层 64 个输出列中减去这个方向，一共动了 131,072 个权重。结果按预算分层：10 次和 25 次前向传播时循环几乎没有消退，MATH-500 只有 12.3% 和 14.1%，撞上限比例仍高达 87.2% 和 86.4%；给满 50 次后，MATH-500 升至 48.1%、GSM8K 升至 67.1%、IFEval 升至 62.3%，答案撞上 token 上限的比例从 93.0% 降到 33.1%。推文里「数学最高提升 6 倍」的出处就是 48.1 除以 7.9。评测采样用 temperature 0.6、top-p 0.95、top-k 20、presence penalty 1.5，博客称 Astra 从未见过任何测试集；设置清单里列了 MATH-500、GSM8K 和另外六个基准，正文只报告了其中三项的分数。
把权重当文本读：四个游戏、三种形状、三个语种
第 1 到第 3 号实验测的是「读」。第 1 号：四个分别玩 Breakout、Pong、Pac-Man、Freeway 的游戏策略网络，架构完全相同（MLP 500→32→32→5，17,253 个权重，同样的 10×10 网格、5 个输入通道、5 个动作，各自用 PPO（近端策略优化）训练 10 亿步）。Astra 每次只拿到一份原始权重文本，且没有被给出候选游戏名单，仍然四个全对。
第 2 号：三个分别生成圆形、方形、三角形的扩散模型（DDPM，各 23,824 个权重），禁止前向传播，Astra 全部认出。它把实心图形画成了轮廓，博客认为这个错误恰好说明它读的是权重的几何结构，而不是靠计算前向传播得出答案。第 3 号堵住了前两个实验的捷径：三个 716 万参数的字符级 transformer（4 层、每层 6 个注意力头），输入层和输出层都被拿走，只留中间四层，让 Astra 判断它们分别在哪一种文本上训练（Python 代码、罗马字转写的日语、英文维基百科）。两次尝试全对，而且它指出的 copying head（复制头）与实测完全一致：Python 模型是 2.1、3.1、3.5，罗马字是 3.3，英文是 3.1，没有多报一个。博客还注意到，Astra 用到了 Elhage 等人提出过的方法，而团队从未向它提及。
修好的小车与从零写出的游戏网络
「修」的案例是第 4 号实验：Kinetix 物理环境里的小车上坡任务。PPO 训练出的策略收敛到局部最优：径直冲向坡道然后卡住，256 局零成功。给 Astra 权重、场景描述和一条失败轨迹，它在一次回复里、不借助任何工具，改了 3.5% 的权重：之后 1,024 局全部成功。博客拆解了它的做法：在网络里加一条贯穿数层的旁路读取车身位置和速度，绿轮越过红条后旁路关闭，把控制权交还给训练出来的策略。
「从零写」的是第 5、6 号实验。第 5 号：MinAtar 的 Breakout、Seaquest、Asterix 三款游戏，只给规则、源代码和输入输出布局，Astra 在单次回复里直接以文本写出全部权重，零训练、零工具，评测之前不许试玩。三个网络都胜过训练 1 亿步的 PPO；对照训练 5 亿步的 PPO，Breakout 得 517.4 分，是对方 25.3 分的 20 倍，Asterix 53.2 对 55.2 基本打平，Seaquest 53.1 达到对方 88.9 的六成。第 6 号把规模推到 9 路围棋：1,480,274 个权重全部从零开始，超出上下文长度，Astra 在 Python 沙箱里逐层编写。不给任何前向传播时，它写出的网络对两个更小的 PPO 网络胜率过半；给满 50 次前向传播（每次最多 128 局对弈）后，胜过了在 2,000 万局上训练的同等规模 PPO 网络。
博客自己记下的两次失败
第 7 号实验是失败记录：两个用同样流程微调的 Gemma 3 270M，一个诚实作答，一个永远顺着用户的猜测回答。只给两份权重时，Astra 四次尝试全部失败：它找出了权重空间的诸多差异，却无法把它们映射到行为差异上。放宽为允许查看自选文本上的注意力模式后，三组配对全部指认正确，差异落在中层注意力头上：诚实模型的 10.2 号头有 94.3% 的注意力在题面数字上，谄媚模型的同号头 85.7% 在看用户给出的答案。
另一个失败写在补充实验里。团队挑了一个几乎不循环的模型 Gemma 3 270M（8.5% 的答案撞 token 上限，Qwen3.5-0.8B 是 93%），想看 Astra 能不能直接提高数学能力。结论是不能：MATH-500 基线 6.8%，各次编辑后的变化都不超过约 1 分，连 Astra 自己都把这点增益标注为「不能确定」。博客的原话是：改权重可以挪开挡住已有能力的障碍，但加不出模型本没有的能力。
Hugging Face 复跑 51.0%：整个模型只差两个张量
团队把全部实验日志公开在 GitHub 仓库 ：发给模型的每条消息、模型的回复和推理摘要、每段代码及其输出、每个数字背后的评测。仓库说明，「Astra」即 OpenAI 的 gpt-6-astra，经 Codex CLI 调用，第 8 号实验用的是最高推理档位；全部 1,125 个回合经审计确认没有动用任何内置工具，允许跑代码的实验都在无网络的沙箱里执行。
Hugging Face 的 Ahsen Khaliq（akhaliq）在 11 月 2 日按日志重建了这个编辑后的模型，发布在 ：重建脚本对每个张量做 sha256 校验，与官方 Qwen3.5-0.8B 相比，整个模型只有第 15、19 层两个 down_proj 张量不同。他按博客协议复跑了全量 MATH-500（500 题、每题 4 次采样共 2,000 个生成，在 H200 上跑了 51 分钟）：编辑后模型得 51.0%，31.6% 的答案撞上限；基模型 25 题抽测得 5.0%，95% 撞上限。51.0% 略高于博客自报的 48.1%。模型页注明了一处替换：博客评测的是纯文本导出版，重建的是完整多模态版本，语言模型张量经哈希校验一致。这份复跑记录发布在团队账号下的模型页，博客也写明重建、复跑和演示由 Khaliq 完成；其余实验的数字在博客里均为团队自己的评测结果，日志已公开可供核对。
回复区的疑问：是修能力，还是刷榜
回复区里，MIT CSAIL 博士生 提出一个方法论问题：这些权重更新带来的基准提升，「究竟只是把测试准确率刷上去，还是真的修复了模型的通用能力？」博客对此给出一部分证据：评测集 Astra 没有见过，数学之外的 IFEval 也涨了（自报约 3 倍）；但表格之外其余基准的分数没有给出。用户 的留言是同一件事的另一种说法：「Qwen 的权重补丁同样需要回归测试。修好数学循环有用，保住其余一切才是更难的考验。」
团队称下一步要造两样东西：一个评测 Weight-Space Programming 能力的基准，一个帮 LLM 探索和写入权重的配套环境（harness），目标是「把现在看起来像黑魔法的东西，变成严谨、可复现的工程学科」。编辑后的模型和已经挂在 Hugging Face 上，按模型页的说法，输入一道数学题就能看到基模型原地循环、编辑后模型作答的差别；第 1 到第 7 号实验的结果能否站住，要等这个还在搭建中的基准来回答。