AREX Feed Article
Strata 在 Hacker News 获约 400 分：12 GB 显卡上本地运行 125B 的 Qwen3.8-Flash-Next，星标超 1.04 万
北京时间 10 月 4 日 20:51，Hacker News 上出现一条关于 GitHub 仓库 的提交，标题大意是「在消费级硬件上运行 Qwen 3.8 Flash Next(125B)：RTX 4090 上 100T/s」()。到 10 月 5 日凌晨核实时，这条提交已获得约 400 分和 200 多条评论，仓库星标超过 1.04 万。
仓库要做的，是让 Qwen3.8-Flash-Next 在消费级硬件上运行：Windows 与 Linux 一键安装、localhost 上兼容 OpenAI/Anthropic 的 API、可选图片输入；免费开源，最低门槛是一块 12 GB 及以上显存的 NVIDIA 或 AMD 显卡。
图片来自 Strata 仓库 README：左侧 Monitor 面板显示，在一台 RTX 5070(12 GB 显存)的机器上，模型解码速度为 50.4 tokens/s、显存占用 11.2/12 GB；右侧是调用它的编程代理正在写入体素宝塔花园的代码。
发帖的是试用者 snehesht
这条帖子的发布账号是 snehesht，与仓库所有者的账号 Niko1221 不同。snehesht 在评论里记下了自己的试用结果()：在一台 RTX 4090、128 GB DDR5 内存、Ryzen 7950x3d 的机器上，试用效果「意外地好」，速度为每秒 124 个 token(词元)。帖子标题里的 100T/s 按上下文指每秒 token 数(T/s 即 tokens/s)。
早在 9 月 28 日，另一个账号 simonpure 就提交过同一仓库，标题强调「8GB+ Nvidia GPU」，当时的帖子只得到 5 分()。同样一个仓库，两次提交的分数相差约 80 倍。
十天，40 个版本，83 位贡献者
仓库由账号 Niko1221 于 9 月 24 日创建，以 C++ 为主，MIT 许可。GitHub 的版本发布记录显示，从 9 月 24 日的 v0.1.0 到 10 月 4 日的 v0.1.39，共发布 40 个版本；其中 9 月 27 日和 28 日各发出 8 个，9 月 29 日 7 个()。最新版 v0.1.39 发布于 10 月 4 日 20:32(北京时间)，与仓库最后一次代码推送同一时刻；19 分钟后，这条帖子上线 HN。
仓库的规模数字在讨论期间快速变化：提交当日的 GitHub API 快照约为 1.03 万颗星，核对时已涨到 10,423 颗、924 个 fork(仓库副本)、249 个未关闭的 issue；贡献者页面列出 83 位贡献者(含匿名)，其中 Niko1221 的贡献记录最多。
用 12 GB 显存跑 125B 模型：专家缓存、内存、CPU 与 SSD 的分工
Qwen3.8-Flash-Next 是参数规模 125B 的专家混合模型(MoE)，这类模型通常跑在服务器上。按仓库说明，Strata 把工作分散到整台 PC：模型由 24,576 个「专家」组成，每个词只需要其中 10 个；用得最多的几千个专家常驻显存，全部专家同时放进内存，处理器处理剩下的部分，SSD 上再放一张大查找表()。再加上「小模型先猜、大模型一次校验」的推测解码，仓库称同样的答案可以快 1.6～1.8 倍、长文本按每批最多 8,192 个 token 读入时超过每秒 1,000 个 token。
跑起来的前提写在 README 里：12 GB 以上显存、32 GB 以上内存、约 80 GB 磁盘空间，Windows 10/11 或 Linux，支持两到三张显卡分担。安装器会按内存推荐档位；README 的 12 GB 显卡测速表里，用的是 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 这类低比特(2～3 bit)量化版本。64 GB 内存能装下所有档位；实验性的 4 bit 版本在 64 GB 机器上只能写出每秒 7～8.5 个 token。仓库为 32 GB 内存推荐的 Coder 版本砍掉了一半专家，据仓库说明达到完整模型 SWE-bench Verified 成绩的 91%(由制作者测量)，代价是代码之外更弱，包括中文。首次启动的 1～3 分钟里整机可能卡顿，因为要向内存加载 35～55 GB 的数据；模型下载约 70 GB。
图片来自 Strata 仓库 README：在 RTX 5070 上以 IQ3_S、128K 上下文一次提示生成的体素日式宝塔花园。
localhost 上的 OpenAI 与 Anthropic 兼容端点
按仓库说明，安装完成后浏览器打开 127.0.0.1:8080 就是应用本体：聊天、实时 Monitor(模型与 GPU、CPU、内存状态)、设置与地址。要让外部工具接进来：把兼容 OpenAI 的 provider(服务提供方)指向 http://127.0.0.1:8080/v1，API key(密钥)和模型名随意填；走 Anthropic 接口的工具用 http://127.0.0.1:8080/v1/messages，Claude Code 只需设置 ANTHROPIC_BASE_URL=http://127.0.0.1:8080；Codex CLI 一类使用 OpenAI Responses API 的工具走 /v1/responses。仓库还带一个 MCP server(本地服务端)：AI 助手可以经它安装、启动和停止 Strata()。
其他开关：思考档位 off/low/medium/high；可选图片输入(AMD 显卡在 Linux 上经由处理器读图，Windows 上还不行)；默认一次只回答一个请求，想并发要改配置；从手机或另一台电脑访问需要显式指定 host 与 API key。
速度数字来自哪里：项目自测与两份社区复测
README 给出两组项目自测数据：在 RTX 5070(12 GB)、Ryzen 5 7600 与 64 GB 内存的机器上，写答案的速度从 Q2_0 的每秒 94 个 token 到 IQ3_S 的每秒 53 个，读 32K token 的提示达到每秒 2,650 个 token；AMD RX 9070 XT 上 Q2_0 为每秒 60 个。README 对 RTX 3090(24 GB)给出的是估算：「应该能写出每秒 100～140 个 token」。DETAILS.md 记录了测量条件，包括引擎 0.1.26、每次生成 256 个 token、推测解码开启等()。
仓库另设了一份 COMMUNITY_BENCHMARKS.md，邀请用户按统一格式提交自己机器上的复测()。目前收录两份：9 月 30 日的 RTX 5090 报告，IQ2_XS 配置下中位解码速度为 179.4/175.7/165.0 tokens/s(提示长度 4K/32K/128K)；10 月 3 日的双 MI50 16 GB 报告，Coder IQ1_M 为 50.1/47.8/45.7 tokens/s。两份报告都注明测试使用合成的代码解释请求，不能代表通用回答质量。
正面实测、量化质疑与一次 50 张图片的视觉测试
讨论里，prettyblocks 说自己在一张 3090 上用这个项目做 PHP 代码库的安全审计，「它跑得飞快」()；paulez 在 7900 XTX 与 64 GB DDR4 上说它比 Qwen3.8:27b 更有用、也更快，但补了一句「需要更多测试」()。
质疑集中在量化损失：用户 0xbadcafebee 认为，把它压到 Q2、再砍掉一半专家，速度是有了，但真实的长程编程任务依赖推理，为了跑得快而牺牲模型能力没有实际用处()；Tepix 的评论只有一句：「Q2 量化。不感兴趣。」()。
用户 Jackson__ 则把同一套权重放在两个引擎上做了对照测试：他用 50 张图片做视觉定位，要求输出目标物体的精确坐标；经 Strata 运行的同一份 GGUF 模型文件与视觉适配器权重，误差距离中位数为 154.8 像素、均值 168.8，而在 llama.cpp 上运行同样的权重，中位数是 46.5 像素、均值 81.4。他把这一差距形容为相当于从 9B 模型跳到 35B 模型的变化，并说明所有测试在温度 0 下进行()。这次测试由单人在单台机器上完成，样本为 50 张图片；Jackson__ 也说明自己未做进一步测试。