AREX Feed Article
Unsloth 发布 Mistral Le Chonk 1-bit GGUF：称 1 万亿参数模型可在 Mac Studio 本地运行、保留 91% top-1 准确率
2026 年 10 月 29 日，开发本地运行与训练模型工具的团队 ，Mistral 的 1 万亿参数模型 Le Chonk（即 Mistral Large 4）可以本地运行了：借助其当天发布的 1-bit GGUF 量化版本（GGUF 是 llama.cpp 生态使用的权重文件格式），模型可以跑在一台 Mac Studio 上，官方称量化后仍保留 91% 的 top-1 准确率（模型首选输出命中目标的比例）。量化权重已发布在 Hugging Face 的 ，配套同步上线。
就在同一天，Mistral 刚刚——这个模型本月早些时候进入公开预览，经过约 3 周额外强化学习后正式放出。按页面元数据，Unsloth 的 GGUF 仓库创建于 10 月 29 日 11:24 UTC，比 Mistral 官方博客（12:00 UTC）早了约半小时；Unsloth 帖文发布于当日 14:27 UTC，指南中写道：「感谢 Mistral 提供零日访问」。截至发稿，这条帖文获得约 2.7 万次浏览。需要说明：91% 的准确率与「迄今最强西方开放模型」的说法均为 Unsloth 单方口径。
权重开源当天，1.05 万亿参数被压缩到 233 GB
按 GGUF 仓库页转载的，Le Chonk 是 Mistral 迄今最大的模型：一个原生多模态的混合专家（MoE）架构，总参数约 1 万亿（页面标注 1.05T），每个 token 激活 490 亿参数（含嵌入与输出层共 520 亿），由 128 个路由专家（每个 token 激活 4 个）加 1 个共享专家组成；支持 100 万 token 上下文窗口、160 余种语言，从零训练于 Mistral 位于欧洲的自有数据中心，用了 3,800 块 NVIDIA Grace Blackwell GPU。模型采用 发布——一份修改版 MIT 许可证，商业与非商用均可，但以模型即服务（MaaS）方式运营需另行获得 Mistral 的商业授权。
Unsloth 把这套权重压成一条体积阶梯：最小的 1-bit 文件约 233 GB，2-bit 档 302～378 GB，接近全精度的 Q8 版本要 1.1 TB；官方将 1-bit 与约 1.1 TB 的 FP8（8 位浮点）原始权重对比，称体积缩小约 80%。仓库还附带视觉投影器（mmproj）文件和名为 DSpark 的投机解码草稿模型——按说明加载后者后，平均接受长度约 2.5，batch 1（一次只处理一条请求）时解码速度约提升一倍。
跑起来要什么条件：256 GB 统一内存只是起步线
Unsloth 指南给出的硬件门槛以「总内存（RAM+显存）或统一内存」计：1-bit 需 256～270 GB，2-bit 需 310～390 GB，3-bit 需 435～500 GB，4-bit 需 630 GB，8-bit 需 1.2 TB。指南明确写道，最小的 UD-IQ1_S 可以放进 256 GB 内存的设备，「包括一台 Mac Studio，或两台 NVIDIA DGX Spark」；同时提醒总可用内存需超出量化文件体积，给操作系统、KV cache（注意力键值缓存）和运行时缓冲留出余量，长上下文还会更高。
运行方式上，Unsloth 要求使用其定制的 llama.cpp 构建或 Unsloth Desktop 应用，后者支持 macOS、Windows 和 Linux。推荐采样参数为 temperature 1.0、top-p 0.95；上下文上限标称 1,048,576 个 token，但官方 llama.cpp 示例把上下文压到了 32K——理由是控制 KV cache 的内存占用，内存吃紧时还要进一步下调或换更小的量化档。
量化效果的测量方法：KLD 与 top-1 基准
按指南说明，Unsloth 在工具调用、代码、代理长轨迹（agentic long traces）等任务上对所有量化档跑了两类基准：KLD（量化模型与原始模型输出分布的 KL 散度）和 top-1% 准确率；指南文字给出的口径是 Dynamic 1-bit 在代码、代理任务、数学等领域的 top-1 准确率保留 91%。在官方发布的基准图表上，最小的 UD-IQ1_S 全任务等权重口径落在 91% 附近，300 GB 左右的 IQ2_XXS 约 94%，378 GB 的 Q2_K_XL 约 95% 出头，约 900 GB 的 Q6_K_XL 接近 98.6%。这些数字全部来自 Unsloth 自己的测量。
回复区的追问：内存底线与解码速度
在帖文回复区，技术问题集中在 256 GB 这条门槛上。开发者 算了一笔账：「模型卡写着 1-bit 是 233 GB，所以 256 GB 的 Mac Studio 大概就是底线。」他接着问的是解码速度——加上和不加 DSpark 草稿模型各是多少，卡上所说的 batch 1 下约 2 倍提速在统一内存上是否成立。 的疑问类似：233 GB 权重放进 256 GB 机器后，留给上下文的空间不多，「1-bit 下 100 万 token 窗口实际能用多少？」
指出，macOS 默认只允许 GPU 接入约四分之三的统一内存，200 多 GB 权重加上较长的代理上下文，意味着要么上一台 512 GB 的 Mac Studio，要么调高 iogpu.wired_limit_mb 参数——他想知道 Unsloth 用的是哪一种。用户 则称，同一份 GGUF 在 Linux 下也能装进一台堆满便宜 DDR4 内存的二手老服务器，「比 Mac Studio 慢，但那台机器只要它几分之一的价钱」。
「最强西方开放模型」的说法从何而来
Unsloth 帖文中的「迄今最强西方开放模型」与 Mistral 自己的口径一致：官方模型说明称，在 Artificial Analysis Intelligence Index v5 上 Le Chonk 得分 26，是西方开放权重模型中最高的；但同一份说明也写明，中国领先的开源模型在这个综合指数上得分更高，Le Chonk 的相对优势集中在代码与网络安全。Mistral 博客列出的成绩包括：在 Cognition 私有基准 FrontierCode 2.0 上以 19.7% 领先，Terminal-Bench 4.0 得分 41%（比公开预览版高 13 个百分点），Artificial Analysis Coding Agent Index 48% 与 GLM-5.3 基本打平、平均每任务少用 47% token。
对没有 256 GB 内存的用户，Mistral 官方还提供另一条路：（量化权重存档），面向 Blackwell GPU、支持 vLLM 和 SGLang，占用更小、推理更快——并非面向 Mac Studio 的方案。至于 Mac Studio 上的绝对解码速度，Unsloth 的帖文与指南都没有给出数字，而这正是 Moftah 在回复区直接追问的那个数字。