AREX Feed Article
Unsloth 发布 MiniMax-M3.1-Flash 2-bit 量化版：称保留 91.5% 准确率、150GB 内存即可本地运行
10 月 26 日，主打「在本地运行与训练模型」的团队 Unsloth AI 宣布，为 MiniMax 新近放出开放权重的模型 MiniMax-M3.1-Flash 制作并发布了 2-bit GGUF（llama.cpp 生态通用的单文件权重格式）量化版本。按其的说法，这一版本在体积缩小 45% 的同时保留了原模型 91.5% 的 top 1 准确率，150GB 内存的设备即可本地运行；帖文附上了 与的链接，并称 M3.1-Flash 是「同尺寸中最强的开放模型，整体也在最佳之列」。
这套口径的配套文档把数字铺得很细：对应 91.5% 这一档的 UD-Q2_K_XL 下载体积为 143.9 GB，整个仓库共 8 档量化，从 129.4 GB 的 1-bit 排到 259.1 GB 的 8-bit。
仓库、时间线与两条运行路径
推文发布于 10 月 26 日 14:45（UTC）。unsloth/MiniMax-M3.1-Flash-GGUF 仓库创建于 10 月 23 日，10 月 26 日仍有更新，页面显示累计下载 4,499 次；Unsloth 在文档中专门致谢「MiniMax 提供 day-zero 访问权限」。
时间线对得上：MiniMax 在 10 月 19 日的里说明模型先通过 API、M Plan 订阅与 MiniMax Code 提供，权重「稍后放出」；独立评测机构 Artificial Analysis 当天的提到，MiniMax 官宣 10 月 23 日发布开放权重；Unsloth 量化仓库的创建日期正是 10 月 23 日，3 天后推文跟进。
想把它跑起来，指南给了两条路。一是开源桌面应用 Unsloth Desktop，在应用内搜索模型、选档下载、配置采样参数与 CPU/GPU 分载；二是自行编译带 的 llama.cpp——这个 PR 为 llama.cpp 加入 MiniMax-M3.1 支持，包括每层稀疏注意力（MSA）与 DSpark 投机解码。以 UD-Q2_K_XL 为例，权重分成 4 个分片下载，llama-server 指向第一个分片即可自动加载其余；要喂图像，还需另下约 1.74 GB 的 mmproj-BF16 视觉投影器。指南推荐的采样参数为 temperature 1.0、top-p 0.95、top-k 0、min-p 0.0，思考力度（reasoning_effort）设为 high。
top-1 agreement：量化后与原模型的首 token 一致率
按 Unsloth 文档，推文里的「top 1 accuracy」正式口径是 top-1 agreement，即量化模型与未量化原模型在输出首个 token 上的一致率，在编码、数学、通用聊天、工具调用、多语言、推理与 agent 七类任务上加权：1-bit 约 89.9%，2-bit 91.5%，4-bit UD-Q4_K_XL 达 98.0%；单看编码，Q2 为 91.2%、Q4 为 97.6%。分项表里，UD-Q2_K_XL 在通用聊天上为 88.5%、数学上为 95.7%，文档另一处写明七类合计的波动区间约在 85.3%～95.7%。
Unsloth 还把这批动态量化与 llama.cpp 通用 imatrix（重要性矩阵）量化做了同体积对比：194.0 GB 的 UD-Q3_K_XL 在全部七个类别的 top-1 一致率上都高于约 230 GB 的 IQ4_XS；衡量两个分布差异的 KL 散度（KLD）同样全面更低。以上数字全部出自 Unsloth 自己的测试，文档与仓库均未附第三方复核。
同一份文档里的两个内存数字
推文称「150GB RAM 即可运行」。指南的硬件需求表把 2-bit 档的门槛列为 150 GB（RAM + VRAM 或统一内存合计），全档位从 1-bit 的 134 GB 排到 8-bit 的 272 GB。但同一页的文字给主打档 UD-Q2_K_XL 的建议是「按 160GB+ 预算内存」——两个数字出自同一份文档，口径并不完全一致。
150 GB 本身是个计划估算值：按 16K 文本上下文、单并发槽位计算，在量化权重之上预留约 20～32 GiB 给 KV cache（键值缓存）、运行时与操作系统；文档还注明这些内存目标实际以 GiB 计（市面上通常按 GB 宣传），更长上下文、图像输入与 DSpark 都需要更多内存。指南另有一句提醒：虽然每 token 只有 23B 参数处于激活状态，完整的量化权重仍须全部装进内存与显存，显存不足时再用 CPU offloading（部分层卸载到 CPU）。
至于「缩小 45%」的比较基准，推文没有说明。按文档自己的体积数字，143.9 GB 的 UD-Q2_K_XL 比 259.1 GB 的无损 8-bit 档 UD-Q8_K_XL 小约 44%，与推门口径大体吻合。
428B 总参数、23B 激活：被压到 2-bit 的模型长什么样
MiniMax 写明，M3.1-Flash 是原生多模态混合专家（MoE，mixture-of-experts）模型：总参数约 428B，每 token 激活 23B，接受文本、图像与视频输入，上下文窗口最高 1M tokens；全模型贯穿 MiniMax Sparse Attention（MSA），注意力与路由专家在训练阶段做了量化感知训练（QAT，quantization-aware training），并内置 DSpark 投机解码草稿头。Unsloth 文档补充了权重的精度细节：MoE 层用 NVFP4、其余部分用 MXFP8，其无损档 UD-Q8_K_XL 保留 NVFP4 + BF16。
llama.cpp 侧的 PR #31192 与这些设计一一对应：转换器原生保留 NVFP4 路由专家、每一层都跑 MSA，DSpark 草稿模型可单独转换。指南说明，DSpark 取代了此前的 EAGLE 式 MTP（多 token 预测）方案，由草稿模型提出 token、主模型验证，以期加快解码；启用它需要配套的 MiniMax-M3.1 草稿模型，并占用额外内存。
被量化的对象：MiniMax 十月新发的 Flash 档
M3.1 Flash 是中国 AI 公司 MiniMax 于 10 月 19 日正式发布的 Flash 档模型。发布公告里有两个细节：此前匿名运行、累计处理超过 200 万亿 tokens 的 Space Bunny 就是它的早期版本；更强的 Pro 档「稍后到来」。定价为每百万 tokens 输入 0.15 美元、输出 0.60 美元、缓存输入 0.015 美元；官方称推理速度接近前代的 3 倍、agent 场景整体使用成本降低 70%，日常输出速度可达 200+ TPS（每秒输出 token 数，中位数 170+ TPS）。
性能数据主要来自 MiniMax 自己的对比表：Automation-Bench v1.0.6 得分 62.8，高于 DeepSeek V4.1 Flash-1017 的 60.5；BankerToolBench 76.2，与表中的 Claude Opus 5 持平；CyberGym 82.2。但在同一张表里，DeepSWE v1.1 为 73.7%（DeepSeek V4.1 Flash-1017 为 77.0%）、NL2Repo-Bench 61.2 对 68.2、Terminal Bench 4.0 为 38.1 对 42.3，这几项均落后于 DeepSeek V4.1 Flash-1017。
独立评测的另一面：指数涨 13 分，幻觉率 93%
Artificial Analysis 的独立评测给出了外部参照：M3.1-Flash 的 Intelligence Index 为 42，比前代 M3 的 29 高出 13 分，与 GLM-5.3-Flash 持平，略高于 Gemini 3.8 Flash 的 41，落后于 DeepSeek V4.1 Flash-1017 的 45；跑完整个指数的单任务成本约 0.22 美元，不到前代约 0.51 美元的一半。Humanity's Last Exam 得分 48%、物理推理基准 CritPt 得分 22%，均较前代 M3 的 39% 与 4% 明显提升。
这份评测同时给出了另一面。在衡量事实回忆与幻觉的 AA-Omniscience 基准上，模型答对了 56% 的问题，但几乎每题都作答，幻觉率达到 93%，综合得分只有 16。按 ，该指标衡量的是答错的题里有多少是「硬给出错误答案」而非拒答——也就是说，模型宁可错，也不说不知道。
在 Unsloth 已发布的材料里，量化版的质量数据只有该团队自测的 top-1 一致率与 KLD；至于 1M token 上下文、图像输入与 DSpark 全部打开时 150 GB 是否还够用，文档只写了一句：需要更多内存。