AREX Feed Article
开源引擎 Strata 发布 v0.2.4：让 763B 参数的 DeepSeek-V4.1-Flash-1017 跑进单张 12GB 显卡的 PC
北京时间 10 月 24 日上午 10 时 18 分（UTC 凌晨 2 时 18 分），开源本地推理引擎 的维护者 Niko1221 发布了 v0.2.4 版本，主题就叫「DeepSeek V4.1-Flash in the Terminal」。据 （发布时间经 核实），这一版新增的能力是：配合 ISTA-DASLab 的 GSQ-RCO 量化，在一张 12GB 显存的显卡加 46～64GB 内存的消费级 PC 上，本地运行 763B 参数的 DeepSeek-V4.1-Flash-1017——一个上下文窗口 1M token 的稀疏混合专家（MoE）模型。
维护者在 release 中自报的实测速度是：RTX 3060（12GB 显存、46GB 内存）代码输出约每秒 8～10 个 token（token 为模型读取和输出的最小文字单位，项目 README 的口径约合一个单词的四分之三）；RTX 5070 约 5 个；4 块 Radeon AI PRO R9700 约 31～69 个。这些数字全部来自维护者自己的机器，未经独立核实。而据量化发布方 ，截至 2026 年 10 月 23 日，llama.cpp 尚不支持 DeepSeek-V4.1，这批 GGUF 权重文件目前由 Strata 支持运行。
最忙的专家放进内存，其余从 SSD 直接读
DeepSeek-V4.1-Flash-1017 是稀疏 MoE 模型。据 ISTA-DASLab 模型卡，它每层有 384 个路由专家，每个 token 只激活其中 6 个，参数量的大头就在这些专家上。一张 12GB 显卡装不下整个模型，Strata 的做法是把计算摊到整台 PC：release 说明的描述是，每个 token 只用到几千个小块中的少数几块，引擎把使用最频繁的专家留在内存，热专家内存库（hot-expert RAM store）按空闲内存自动调整大小、占满可用空间，其余专家通过直接读取从 SSD 流式调入。
效果数字出自 release：在 RTX 5070 加 64GB 内存的 PC 上，这套方案跑到每秒 4.3～4.9 个 token，而直接内存映射（mmap）模型文件只有 1.8～2.2 个。引擎随包内置热专家配置文件，第一批提示词不必冷启动。提示词读取也改成了分层大块，不再一次只读 16 个 token：同一台机器上，200 token 提示词从每秒 3.6 个提到 6.4 个，8K 提示词达到每秒 231 个。对约 3,700 token 以上的长提示词，引擎还会跳过最后 20 层用不上的计算，16K 提示词约提速 34%——在对照的 799 个位置里，99.5% 的情况下模型给出的下一个词选择与不跳过时相同。
第三块是 Engram 查找表。模型卡写明，模型带两张合计 1966 亿（196.6B）参数的 Engram 查找表，以 IQ4_NL（4.50 bpw，bits per weight，平均每权重比特数）固定存放，三档量化共用同一份文件；查找表按 token 稀疏读取、每次一行，留在 SSD 上做内存映射即可，不占显存和内存。
GSQ-RCO：按张量分配精度，把 763B 压到 2 bit 上下
量化由 ISTA-DASLab——奥地利科学技术学院（ISTA）深度算法与系统实验室——制作，用到两种方法：GSQ（Gumbel-Softmax Quantization）负责在给定量化类型下做低比特标量量化，RCO（Riemannian Constrained Optimization）在总大小预算内为每个张量指派量化类型。与统一量化不同，这里每个张量有自己的类型：注意力、共享专家、嵌入和输出头等密集张量在 Q5_K、Q6_K、Q8_0 里选，路由专家在 IQ1_S 到 IQ3_S 里选。
模型卡提供三档下载，主干占 5519 亿（551.9B）参数：IQ1_M（1.75 bpw）、IQ2_XXS（2.00 bpw）、IQ2_XS（2.25 bpw）。release 说明给出的磁盘需求分别是 239GB、257GB、274GB，含 Engram 表和 DSpark 草稿模型。质量上，模型卡在 AIME25、GPQA-Diamond、LiveCodeBench v6 三项基准（推理力度，reasoning effort，统一设为 50）上对照原模型：IQ2_XXS 三项全部打平，任务平均 93.54 分、恢复率 100.0%；IQ1_M 保留 98.7%（92.32 分）；IQ2_XS 的基准成绩尚未公布，release 给出的是困惑度（perplexity，模型对固定 4,995 条测试文本的「惊讶程度」）口径：三档分别比原模型高 21%、15.5%、7.3%。release 还注明 IQ1_M 在普通英文散文上偏弱；维护者的建议是，磁盘装得下就选 IQ2_XS 做代码与 agent 工作。
实测速度，以及这些数字的前提
release 的速度表如下，除标注外测的均为 2.00-bit 档：
| 硬件 | 输出速度 | 提示词读取 |
|---|---|---|
| RTX 3060 12GB + 46GB 内存 | 约 8～10 token/秒（代码 9.9，agent 任务 7.8） | 8K 每秒 149 token |
| RTX 5070 12GB + 64GB 内存 | 约 5 token/秒（代码） | 8K 每秒 231 token |
| 1× Radeon AI PRO R9700（2.25-bit IQ2_XS 档） | 约 11 token/秒 | 未测 |
| 4× Radeon AI PRO R9700 | 约 31 token/秒，开 DSpark 后 55～69 | 8K 每秒 505，32K 每秒 818 |
限定条件同样写在 release 里。2.25-bit 档每个 token 要多读 13% 的数据，预计更慢；12GB 显卡的每个 token 大部分时间在等 SSD 和 CPU，一块慢的 NVMe 会把表中每个数字拉低。DSpark——Unsloth 提供的推测解码草稿模型——在 12GB 卡上默认关闭，手动开启在 RTX 3060 机器上加 2～13%；但在 RTX 5070 加 6 核 Ryzen 5 7600 的机器上毫无收益（代码输出 4.64 对最好的 4.33 token/秒），因为校验草稿花掉的 CPU 时间约等于省下的 token。CPU 侧为专家计算新增按指令集精配的内核（Zen 4/Zen 5 用 AVX-512，其余用 AVX2）后，那台 Ryzen 5 7600 机器的解码从 4.08 提到 5.11 token/秒（+25%）；Radeon 卡侧新增的 RDNA4 矩阵核内核，把 4 卡平台的 8K 提示词读取提速 36%（370 到 505 token/秒）、32K 提速 49%（550 到 818）。
release 注明实测覆盖了 RTX 3060（Linux，完整模型）、RTX 5070（Windows）和 Radeon AI PRO R9700（Linux）；RX 9070 的内核编译了但未测试，RTX 30 的 Windows 构建编译了但没跑过。
为什么目前只有 Strata 能跑这批 GGUF
模型卡在使用说明一节写明：「截至 2026 年 10 月 23 日，llama.cpp 尚不支持 DeepSeek-V4.1，这批 GGUF 还无法在 llama.cpp 中运行。它们由 Strata 支持。」这批量化在制作时就与 Strata 联合优化，模型卡的原话是这些构建「与 Strata 一起为本地推理优化」。按这两份当事方文件的说法，Strata 是这批量化目前唯一的本地运行路径；这一口径来自利益相关方，未经独立核实。Strata 的引擎本身也借用了 llama.cpp/ggml 的部分组件（仓库 README 的致谢部分注明），但这不等于上游 llama.cpp 已支持 DeepSeek-V4.1。
由于上游运行时缺席，DeepSeek 走的是单独分发的引擎包 strata-dsv41（0.1.49 版）：NVIDIA RTX 30/40/50 用 CUDA 13 的 Windows/Linux 版，Radeon AI PRO R9700 和 RX 9070 用 Linux HIP 版。在 strata launch 或 strata setup 里选中 DeepSeek 会自动下载并校验签名安装；也可以手动下载后对照 SHA256SUMS.txt 核验再装，签名或哈希不符 Strata 会拒绝加载。它与原有 Qwen 引擎并存、互不替换——release 强调 Qwen 引擎包仍是逐字节相同的 0.1.48 文件，本次更新只把控制端升到 0.1.49。Strata 此前的主线，正是在 12GB 以上显卡的 PC 上本地运行 Qwen3.8-Flash-Next。
DeepSeek 也只进了终端，没进桌面应用：桌面应用停在 0.2.3，后续更新才会加入；Mac 与 Strix Halo 平台本版不支持。发布约一小时后（UTC 3 时 16 分，GitHub API 时间戳），维护者追加了 0.2.4.1 补丁：0.2.4 的终端包漏掉了 DeepSeek 准备脚本，安装会停在「Preparing your model」一步，已装用户需运行 strata update 后重新执行 DeepSeek 设置，新安装自动获得修复。同一则更新把 RTX 3060 的速度数字修正为默认设置下的口径（12GB 卡上 DSpark 默认关闭）。
门槛降下来之后，剩下的边界
10 月 17 日 DeepSeek 发布时，它是 DeepSeek-V4.1-Flash 的一个小版本更新，MIT 许可、支持图像输入、上下文 1M token，页面显示发布一周下载 42,122 次。其原始权重按 FP8 密集权重加 FP4 路由专家发布（量化模型卡口径）；Strata 的 README 对这类模型的描述是「通常跑在带数百 GB 显存的服务器上」。如果维护者的数字成立，如今运行它的门槛是一张 12GB 显卡、64GB 内存和一块装得下 239～274GB 量化文件的硬盘。
维护者把边界也写得具体：12GB 卡的提示词速度取决于硬盘；输出速度「够聊天用，长 agent 任务偏慢」；同一个提示词两次运行可能得到略有不同的答案——某些位置模型的前两个候选几乎打平，数值累加方式的细微差别就能改变结果。没设预算时，DeepSeek 默认最多思考 32,768 个 token，请求可以自行设定，设为 0 关闭上限。
截至北京时间 24 日下午查询 GitHub API 时，这个发布上线还不到一天，附带的安装清单文件已有 753 次下载。模型卡在 llama.cpp 一节已预置好完整命令，只注明「待 llama.cpp 支持 DeepSeek-V4.1 后适用」；上游何时补上这块支持，模型卡没有给出日期。