AREX Feed Article
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 新量化，称近全部基准领先、64GB 内存可运行
北京时间 10 月 30 日 21 时 13 分，发布新一批 DeepSeek-V4.1-Flash-1017 GGUF 量化文件。这批量化采用其新算法 Dynamic V3.1（预览版），官方称在跨基准排名中位居最高：Dynamic V3.1 在几乎全部基准领先，包括 GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider 等，并称可在 64GB+ RAM 设备上运行。帖文附有 Hugging Face 下载地址与运行指南链接。
发布有实物佐证：整体显示 10 月 30 日更新，UD-IQ2_XXS 的「Better quants update」提交标记为一天前，UD-IQ1_M、UD-IQ1_S、UD-Q2_K_XL 亦各有一笔「Better versions」更新提交；同步新增「Dynamic V3.1 Update (October 30th 2026)」章节。基准排名与效果说法目前均为 Unsloth 单方口径——其直接比较对象是另一家机构的量化方案，双方数字都出自各自测量。帖文发布后约一天内获得约 1,000 次点赞、6.6 万次浏览和 60 多条回复。
同一组位宽，换了一套新算法
按指南的说法，这批 GGUF 换用「Unsloth Dynamic V3.1（预览版）算法」生成，官方称其「在几乎所有基准上改善了 Unsloth 量化，并且优于其他提供商」。仓库仍是原来的目录结构：从 UD-IQ1_S 到 UD-Q8_K_XL 共 9 档量化，外加单独的 Engram 查找表、DSpark 投机解码模块和视觉投影器，整个仓库总计 4.06 TB。
Unsloth 这次给出的是一张自测成绩表：AIME25、HMMT Feb26、GPQA-Diamond、MMLU-Pro、IFEval、LiveCodeBench v6 共 6 项基准取平均，另单列 Aider Polyglot。以 508.4 GB 的 UD-Q8_K_XL 为参考（六项平均 87.68），换成 233.0 GB 的 1-bit UD-IQ1_S 后六项平均仍有 83.53：
| 量化方案 | 总大小含 Engram (GB) | 六项平均 | Aider pass@1 |
|---|---|---|---|
| UD-Q8_K_XL（参考） | 508.4 | 87.68 | — |
| UD-Q2_K_XL (v3.1) | 334.8 | 87.49 | — |
| UD-IQ2_XXS (v3.1) | 300.5 | 86.63 | 44.38 |
| UD-IQ1_M (v3.1) | 250.4 | 85.55 | 42.13 |
| UD-IQ1_S (v3.1) | 233.0 | 83.53 | 36.52 |
| GSQ-RCO IQ2_XS | 265.8 | 85.64 | 41.57 |
| GSQ-RCO IQ2_XXS | 248.8 | 83.68 | 36.52 |
| GSQ-RCO IQ1_M | 231.3 | 81.78 | 29.78 |
（数据来自 Unsloth 运行指南，全部为其自测。测试条件：reasoning effort（推理力度）50、temperature 1.0；AIME25 每题 16 次采样，GPQA-Diamond 每题 8 次。）
「几乎全部」这个限定词在它自己的数据里有对应处：LiveCodeBench v6 上，GSQ-RCO IQ2_XS 的 84.95 高于 UD 系列参考精度以下的所有档位（最高为 UD-Q2_K_XL 的 84.76）。指南同时称，若把 Aider Polyglot 计入平均，Unsloth 的领先「更加明显」。
AIME25「100% 恢复」之争
这次发布的针对性很明确。10 月 23 日，奥地利科学技术研究所（ISTA）的 DASLab 实验室发布了一套 ，用 GSQ（Gumbel-Softmax Quantization）与 RCO（Riemannian Constrained Optimization）两种方法做非均匀量化，提供每权重平均位宽 1.75 bpw 的 IQ1_M（231.32 GB）、2.00 bpw 的 IQ2_XXS（248.84 GB）与 2.25 bpw 的 IQ2_XS（265.83 GB）三个档位。其模型卡称，在 reasoning effort 50 下测得 IQ2_XXS 在 AIME25、GPQA-Diamond、LiveCodeBench v6 三项上与基线持平、任务平均恢复 100.0%，且三个档位的 AIME25 都拿到 100.00 分。
Unsloth 在新指南里逐条回应：它按每题 16 次采样重测 AIME25——30 道题、每个量化 480 份答案，temperature 1.0、reasoning effort 50——结果「在所有位宽都能看到明显退化，远不是 100% 准确率」。其图表显示，对同一批 GSQ-RCO 文件的实测 AIME25 成绩为 IQ1_M 91.88、IQ2_XXS 95.21、IQ2_XS 95.00；Unsloth 称多次运行取平均后，GSQ-RCO 在 AIME25 上保留了基线的 94.64%，而非 100%。
Unsloth 还为 KL 散度（KLD）这一指标辩护，称量化的首要目标就是把 KLD 压到 0，并展示 UDv3.1 在多个保留测试集上的 KLD 均优于 GSQ-RCO，同时公布了各测试集的 top-1 一致率数据。截至发稿，ISTA-DASLab 的模型卡最后更新于 10 月 28 日，其成绩表中 AIME25 一栏仍写着 100.00；双方测的基准集合也不同——ISTA 报三项，Unsloth 报六项加 Aider——所有数字均出自各自实验室。
64GB 内存怎么装下 763B 模型
官方仓库标注 DeepSeek-V4.1-Flash-1017 为 763B 参数；Unsloth 文档把它拆成 552B 主干加 196B Engram 两块。Engram 是模型的条件记忆组件：最多四个 token 的 n-gram（N 元组）会在每个 token 命中表中少数几行，因此这张表不必常驻内存——110.6～202.8 GB（视精度而定）的表可以整体留在 SSD 上，经 mmap（内存映射）按需把命中的行加载进系统缓存。
即便如此，内存门槛仍然不低。指南的硬件要求表（RAM+VRAM 合计或统一内存，Engram 放 SSD）列出：1-bit 需 128～145 GB，2-bit 176～205 GB，3-bit 256～290 GB，4-bit 305 GB，8-bit 315 GB；最小的 UD-IQ1_S 除 Engram 表外仍需 122.4 GB 内存/显存。推文中的「64GB+ RAM」与指南导语「128GB+ RAM 配置，或 64GB RAM（更慢）」并存——64GB 能跑，但属于慢速路径，具体机制两份材料都没有展开。
其他提速手段是两个独立组件：Unsloth Desktop 加 llama.cpp 的组合被官方称为比其他 CPU/VRAM/ngram 仓库快约 3 倍（厂商口径）；DSpark 投机解码用配对的草稿模块先给出候选 token 再由主模型验证，可把解码速度再提 1.3～1.5 倍，提供 8 GB 的 Q8_0 模块和 8.5 GB 的 BF16 版本。
被量化的对象：两周前的 DeepSeek 小版本
是 DeepSeek 于 10 月 17 日发布的小版本更新，名称后缀与发布日期一致，权重以 MIT 许可开源，上下文窗口 100 万 token，官方推荐 temperature 1.0、top_p 1.0、输出 token 上限不低于 256K。按 DeepSeek 模型卡的自报数据，它比上一代 V4.1-Flash 提升明显：Terminal-Bench 4.0 从 31.2 提到 42.3（Claude Code 评测框架），HLE 无工具从 36.8 提到 42.6，同一张表还与 K3、GLM-5.3、GPT-5.6 Sol、Opus 5 等模型对比——这些均为 DeepSeek 官方数字。
Unsloth 在模型发布后数日内上传了首批 GGUF（仓库提交记录显示约 10 月 20 日），此番是在同一批位宽上换用 V3.1 算法重做。底层运行时的适配也经历了一轮往返：Unsloth 的 （提交者 danielhanchen）实现了 deepseek41 架构——压缩稀疏注意力加 Engram n-gram 嵌入、hyper-connections、sqrt-softplus MoE（混合专家）门控，并为 Engram 表引入 MXFP8 存储；llama.cpp 侧的 am17an 以合并速度为由建议先移除 MXFP8 支持，10 月 27 日该 PR 关闭，因为 #31086 已落地支持。
下载与代价：233 GB 起步，低比特要多想
实际跑起来的第一道门槛是磁盘：最小的 UD-IQ1_S 下载量 233.0 GB，其中含 110.6 GB 的 Engram 表和 122.4 GB 其余权重；1-bit 档约比无损的 Q8 省 54% 磁盘空间。指南建议经 Unsloth Desktop 或 hf download 拉取，llama.cpp 需指向第一个分片自动加载其余 6 个分片，并保持 --load-mode mmap、--lazy-mode on 让 Engram 表走 SSD。
另一个代价在推理长度上。Unsloth 自己的测试显示，量化会拉长思考长度：在 32K 上下文、超长即判失败的前提下，6 项基准中被截断的答案比例，UD 系列为 1.48%～4.15%，GSQ-RCO 为 2.83%～4.69%；指南提醒「位数越低，越要预留更高的推理预算」。思考强度默认开启在 75（「high」），可设 1～100。
评论区在追问什么
发布帖下的回复集中在两件事：64GB 到底是什么体验，以及这套成绩在真实工作流里是否成立。在柏林经营 IT 服务机构的 Greg Glazewski 留下获 5 个赞的质疑：「最小的量化要 233 GB，这让 64GB 听起来非常乐观」；账号 Own Your Compute 提醒，一旦专家权重溢出到系统内存，解码速度将主要取决于内存带宽，「插满所有通道的 DDR5 比更大的显卡更有用」；也有人问动态量化「在长程 agentic 编码任务里扛不扛得住，还是只在单轮基准上好看」，截至本文所用的材料，这些提问下未见官方回复。
下载量的差距同样具体：GSQ-RCO 仓库近 30 天约 174.8 万次下载，接近 Unsloth 仓库同期（约 29.4 万次）的 6 倍。Unsloth 指南里的复测数字与 ISTA 模型卡上的 100.00 目前并存——在出现第三方复测之前，AIME25 这一格的分歧仍是两份模型卡之间悬而未决的事。