AREX Feed Article
Unsloth 发布 Flint 的 Dynamic GGUF 量化：称 24GB 内存可本地运行，Mac 约 125 tokens/s
北京时间 10 月 22 日早上 7 时 13 分（UTC 10 月 21 日 23:13），Unsloth 官方账号 宣布为 Recursive 的开源模型 Flint 发布 （GGUF 为 llama.cpp 等本地推理工具使用的模型量化文件格式）。推文称，这个总参数 39.8B、每 token 激活 2.5B 的 MoE（Mixture-of-Experts，混合专家）模型在 24GB 内存的设备上即可本地运行，Mac 上速度约 125 tokens/s、RTX Spark 上约 150 tokens/s；配套的同步上线。
Flint 本体是 Recursive 在 10 月 21 日刚以 Apache-2.0 许可放出的模型，面向编码 agent（智能体）。两个速度数字与 的口径一致，但目前均出自厂商自己的测量；同一天，LM Studio 宣布在自己的应用里提供 Flint 的 day-0（发布当日）支持。
Flint 开源同日，Unsloth 和 LM Studio 先后跟进
10 月 21 日，Recursive 把 Flint 的 BF16（16 位浮点）权重放上 。据 ，这是这家公司的第一个模型，由一支小规模团队配合其自动化研发系统 Eureka Machine 从零训练，用时不到四个月；据 ，Recursive 由前 Salesforce 首席科学家 Richard Socher 创立。
当天 16:46（UTC），宣布在应用内提供 Flint 的 day-0 支持，列出的规格是 40B MoE、2.5B 激活、262K 上下文、Apache 2.0，并给出与 Unsloth 相同的内存门槛：「本地运行约需 24GB」。约六个半小时后，Unsloth 发布了 Dynamic GGUF。
当天已可访问，共 283GB，覆盖宽区间的量化档位：最小的 UD-IQ1_M 为 11.4GB，UD-Q2_K_XL 为 13.6GB，UD-Q3_K_XL 为 18.5GB，UD-Q4_K_XL 为 25.1GB，向上还有 Q8_0（42.3GB）与 BF16 目录，另附 225MB 的 imatrix（量化校准用重要性矩阵）文件。
18.5GB 的 3-bit 档与 79.58GB 的 BF16：内存门槛的构成
给出了具体构成：Flint 的完整 BF16 GGUF 有 79.58GB，4-bit 的 UD-Q4_K_XL 是 25.05GB，对应 26GB 内存；能塞进 24GB 的是 3-bit 的 UD-Q3_K_XL，文件 18.5GB——但指南注明，前提是「短上下文」。按指南的硬件需求表，各档位所需内存（RAM 加显存 VRAM，或统一内存）为：2-bit 13～15GB，3-bit 16～20GB，4-bit 26GB，6-bit 38GB，8-bit 44GB。
这批 GGUF 用的是 Unsloth 的 Dynamic 3.0 量化方法。据其，该方案使用覆盖 agentic coding、对话和多语言的高质量 imatrix 校准集，改进层选择策略，全部为训练后量化，不做 QAT/QAD（量化感知训练/蒸馏），量化质量以 KL 散度和 top-1 准确率随文件大小的曲线衡量；附有对应的对比图。方法页同时给出低比特档位的警告：低于 UD-Q2_K_XL 之后，32-token 预测准确率会从约 25% 跌到 8%～10% 以下，工具调用会失灵——Flint 仓库里最小的 UD-IQ1_M、UD-IQ2_XXS 正落在这一区间，按 Unsloth 的警告不适合工具调用等 agentic 场景。
测试机型：M4 Pro 与 64GB RTX Spark，测量方法未说明
推文没有说明测试条件，指南则点出了机型：M4 Pro MacBook Pro 上 125+ tokens/s，64GB 的 NVIDIA RTX Spark 上 150+ tokens/s。这两个数字与 完全一致——Recursive 原文称，用其自研的优化推理引擎，Flint「在 M4 Pro MacBook Pro 上超过 125 tokens/s，在 64GB NVIDIA RTX Spark 上超过 150 tokens/s」，并明确限定在短上下文场景；博客还称该速度最高达到同类模型的两倍，比得分相近的 25～40B 稠密模型快五倍以上。
Recursive 的对比图把质量和速度放在同一张图上：48GiB 统一内存的 M4 Pro，解码速度按 128K 输入上下文的归一化曲线下面积（AUC）计，不含 prefill（提示词预填充）。图中 Flint 的 MLX 版本平均分约 80，解码速度远高于 Qwen3.8 27B 等稠密模型，而平均分更高的也是这类稠密模型。
Unsloth 沿用的正是 Recursive 的数字：指南把 125+/150+ 与 3-bit GGUF 的本地运行写在一起，却未给出测量方法；Recursive 的口径来自其自家引擎，限定短上下文。两边测量条件是否相同，来源没有交代。
「50B 以下最强 MoE」：类别限定的厂商口径
Unsloth 在推文中称 Flint 是「50B 参数以下最强的 MoE 模型」，这一说法来自 Recursive 的发布评测。按，Flint 是仅含解码器（decoder-only）的 MoE 架构：49 层（2 层稠密加 47 层 MoE），每层 256 个路由专家、每 token 选 6 个外加一个常驻共享专家，35 层滑动窗口注意力（窗口 513 tokens）加 14 层全注意力；每 token 激活约 2.5B——模型卡注明该数字含输出头，纯激活主体约 2.2B。文档记载的上下文配置为 262,144 tokens，知识截止 2026 年 6 月；Recursive 博客称模型最高支持 512k 上下文，但建议控制在 256k 以内。
发布评测中，Flint BF16 在 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%，LiveCodeBench v6、IFBench、IFEval 分别为 80.3、89.2、95.1。同表中与 Flint 同类的 MoE 对手是总参数 33～35B、激活 3B 的 Qwen 3.5 与 Qwen 3.6，Flint 在 agentic 编码基准上领先；但 27～31B 档的稠密模型 Qwen 3.8 在 Terminal-Bench 2.1 上拿到 73.0 分，明显高于 Flint。模型卡也注明：各来源评测设置不一，Flint 的 Terminal-Bench 记分把通过网络检索得到的解算作失败，而对比模型的分数多为厂商自报，未必采用同一口径。「最强」因此限定在「50B 以下 MoE」这一类别之内，且属自报结果。
怎么跑：Unsloth Desktop、llama.cpp 分支与采样参数
按 Unsloth 指南，第一条路径是 Unsloth Desktop（支持 macOS、Windows、Linux）：在模型中心搜索 unsloth/flint-GGUF，下载 UD-Q4_K_XL 或更小的档位；也可用 unsloth start claude --model unsloth/flint-GGUF:UD-Q4_K_XL 把本地模型接入编码 agent，或用 unsloth run 在本地起 API 服务。偏好 llama.cpp 的用户需编译 以获得 Flint 支持，再下载对应 GGUF 运行。采样参数沿用 Recursive 推荐：温度 1.0、top-p 0.95、top-k 20，上下文上限 262,144 tokens，多轮对话需在历史中保留 reasoning_content。
Recursive 在博客中列出的兼容工具还包括 llama.cpp、Ollama、LM Studio、vLLM 和 SGLang，并配套发布了针对 M4 Pro 与 M5 Pro/Max 优化的本地推理引擎 rec；若走服务器路线，模型卡给出的 SGLang 方案是每个副本占用一张 B300 或 H200，BF16 权重约 80GB。
截至发稿，在本篇核对的来源中尚未见到对 Flint 或其 GGUF 量化的第三方独立评测，速度数字、量化质量与「最强 MoE」定位均出自 Recursive 和 Unsloth 两家的自述。24GB 内存、125 tokens/s 这组数字能否在厂商之外的设备上复现，仍是这则发布留下的未决问题。