AREX Feed Article
Unsloth 公布 512K 上下文 agentic 基准，称 DeepSeek-V4.1-Flash-1017 1-bit GGUF 领先其他量化逾 10%
北京时间 2026 年 11 月 2 日 22 时 43 分（UTC 14:43），Unsloth 官方 X 帐号 公布 DeepSeek-V4.1-Flash-1017 各家 GGUF 量化在 512K 上下文下的 agentic（智能体任务类）基准测试结果：1-bit Unsloth GGUF 在 DeepSWE 得 68.1 分、Terminal-Bench 得 72.2 分、AutomationBench 得 52.7 分，并称其「领先其他量化逾 10%」、整体排名最高。帖文附 。这批数字全部出自 Unsloth 自测，帖内未附第三方复现。
10 月 30 日，Unsloth 联合创始人 Daniel Han 在 DeepSeek-V4.1-Flash-1017 的 Dynamic v3.1 量化时，列出的基准是 AIME25、Aider Polyglot、LiveCodeBench v6、HMMT 2026、GPQA Diamond、MMLU-Pro、IFEval 等通用与数学类项目，并指团队无法复现 ISTA-DASLab 的报告成绩——1-bit 的 AIME25 实测为 91.88%，而非对方报告的 100%。agentic 长上下文不在那份清单里，11 月 2 日这批数据把它补上了。
从 32K 到 512K：agentic 项目单独成套，测算量放大 27 倍
中标注「November 2nd 2026」的 Dynamic V3.1 更新节写明：agentic 基准为 Terminal Bench 2.1、DeepSWE v1.1 和 AutomationBench v1.0.6，在 512K 上下文下运行，通用类任务为 128K；选用这批「未饱和」的 agentic 项目，是因为此前 32K 上下文「太短」、旧基准已经饱和。文档还给出规模变化：本轮基准测算消耗 351 亿 token（35.1B），是此前 13 亿的 27 倍；Terminal Bench 与 DeepSWE 每个量化各跑 3 次，AIME 2025 每档跑 64 次——10 月 30 日帖文中的口径还是「每题 16 次取均值」。
评分环节也换了做法：文档称 Terminal Bench 使用官方 Harbor 评分器，DeepSWE 与其余项目使用各自官方评分器，并列出修复记录——例如 math_verify 超时问题修复后，8,520 个答案由错判翻为正确。推文中「1-bit」的三个分数与文档图表中 UD-IQ1_M 一档完全一致，该档下载体积 250.4 GB，内含 110.6 GB 的 Engram n-gram（N 元语法）查找表。Hugging Face 仓库页面显示，这份 GGUF 更新于 11 月 2 日，近 30 天下载 510,726 次。
对最强对手，1-bit 的领先在 Terminal-Bench 上不足 10%
推文没有列「其他量化」的名单，但文档图表给出了对比对象：ISTA-DASLab GSQ-RCO 的 IQ1_M、IQ2_XXS、IQ2_XS 三档（绿色曲线为 Unsloth v3.1，红色为 GSQ-RCO，黑色横线为 Unsloth 自测的 8-bit 参考基线 72.6 / 71.4 / 52.7）。
按图表数字复算：与同为 1-bit 的 GSQ IQ1_M 相比，UD-IQ1_M 在 Terminal-Bench 2.1 上 72.2 对 60.1、DeepSWE 上 68.1 对 50.9、AutomationBench 上 52.7 对 41.8，三项领先 20.1%～33.8%；但换成 GSQ 各档中的最高分，差距收窄——DeepSWE 对 IQ2_XS 的 61.9 领先约 10.0%，AutomationBench 对 47.2 领先约 11.7%，Terminal-Bench 对 69.1 只领先约 4.5%。「逾 10%」的说法在 Terminal-Bench 一项上只对同档位比较成立。图表里的最高分同样来自 Unsloth 自己的更高档位：Terminal-Bench 2.1 上 IQ2_XXS 得 74.4，14 项基准平均恢复率 98.2%，对 GSQ 最好的 95.3%。
官方模型卡的 42.3 与自测的 72.2 不可直接相比
把 72.2 读成「1-bit 比官方全精度还强」是误读。转载的 DeepSeek 官方模型卡显示，全精度 V4.1-Flash-1017 在 Terminal-Bench 4.0 得 42.3（使用 Claude Code harness 评测脚手架）、DeepSWE v1.1 得 77.0（Mini-SWE-V2 harness）、Automation-Bench v1.0.6 得 60.5。unsloth 文档明确注明：这些是「官方模型结果，不是本指南中 GGUF 的实测」，且「分数取决于评测设置、推理努力与上下文预算」。Unsloth 的自测用的是 Terminal-Bench 2.1 而非 4.0，512K 上下文、推理努力档位（reasoning effort）50、mini-swe-agent 2.4.6，并把官方 89 题中 7 道参考解无法在本机通过的任务剔除，只测 82 题。
量化保真度另有独立口径：文档称 250.4 GB 的 UD-IQ1_M 对官方权重的 top-1 预测一致率为 88.2%（long17k 数据集）和 87.1%（wiki1100），Q4 档则达到 98.2%～98.5%。
读者追问、内存代价与第三方复现的空缺
截至 11 月 3 日，该帖获得 326 个赞、42 条回复、25,706 次浏览（X 平台数据）。回复区的追问集中在三处： 问「1-bit、2-bit 怎么可能得分这么高，是不是测量方式给了它们优势」； 问 512K 上下文下 1-bit 需要多少内存； 则抱怨「图完全看不清」，要求提供可点击的图表。 从图中读出了另一层信息：「所以平均来看 IQ2 XXS 是赢家？」——在图表里这一点基本得到印证：IQ2_XXS 在 14 项基准的平均恢复率上排 Unsloth 各档第一，也是 Terminal-Bench 与 AutomationBench 两个 512K 面板中的全场最高分，只有 DeepSWE 一项由 IQ1_M 领跑。
内存代价在文档里有答案：硬件要求表给 1-bit 档开出 128～145 GB 的 RAM+VRAM 合计需求，Engram 表可留在 SSD（固态硬盘）按需加载；页面同时写明 64 GB RAM 也能运行，只是更慢。统计层面，Unsloth 还在文档中新增了对 GSQ-RCO 的 bootstrap（自助法）与置换检验：GSQ-RCO IQ1_M 宣称的三基准恢复率为 98.70%，Unsloth 实测 97.24%（95% 置信区间 96.23～98.21），p（无损失）= 0.00002；但对 GSQ IQ2_XS，实测 99.54%（98.88～100.18）、p = 0.16，Unsloth 自己的检验也无法排除「无损失」的可能。
对比对象、基线、评分器与题集都由 Unsloth 设定，文档里 GSQ-RCO 三档的成绩也全部标注为 Unsloth 自己的实测（measured）值。记者检索公开渠道，截至发稿未见第三方对这批 512K 成绩的独立复现；从 10 月 30 日的 AIME25 复现争议到这一轮 agentic 测试，公开可见的复测数据仍全部出自 Unsloth 一方。