Unsloth 预告 Qwen4 小模型:Qwen4-27B 将可在 16GB 内存配置运行,GGUF 将采用新版 Dynamic 3.1 量化
Qwen4-Max 正式上线当天,开源量化团队 Unsloth AI 发帖预告:更小的 Qwen4 模型即将发布,其中 Qwen4-27B 将可在 16GB 内存配置上运行;Qwen4 的 GGUF(可在 llama.cpp 等本地推理引擎直接加载的单文件量化格式)将采用新版 Unsloth Dynamic 3.1 算法,以在 Terminal Bench、DeepSWE 等 agentic(智能体式任务)基准上取得最佳表现。
两条预告出自 Unsloth AI 官方账号北京时间 11 月 16 日 10 时 33 分的主帖和 13 时 51 分的跟帖。主帖前一句转述 Qwen 官宣「更小的 Qwen4 模型即将发布」,后一句 16GB 判断是 Unsloth 的自述;跟帖补上量化细节。预告均未给出发布日期、量化档位或实测数据。其中「Qwen 宣布」这部分可对上直接出处——Qwen 官方博客今天明确写道,小尺寸模型将陆续开源。
两条帖子的时间线与热度
北京时间 16 日 10 时 01 分,Qwen 官方账号 @Alibaba_Qwen 发布 Qwen4-Max 上线帖,末尾写着「更多将至!更小尺寸 Qwen4 模型(models)的开放权重将会发布,敬请期待」。32 分钟后,Unsloth 发出主帖。截至北京时间 16 日 14 时许,主帖获约 2,000 次点赞、浏览超 6.2 万次,Qwen 官宣帖点赞超 7,500、浏览超 70 万次。
发帖的 @UnslothAI 是 Unsloth AI 官方账号,约 10.6 万粉丝,长期为开源模型制作 GGUF 量化并发布本地运行指南。两条帖子均未提到 Qwen4-27B 之外的型号,也没有附上任何已发布的 Qwen4 量化文件。
16GB 对标前代:Qwen3.8-27B 的内存账
Unsloth 自己的文档提供了现成的参照系。Unsloth 为前一代 Qwen3.8-27B 发布的运行指南写明该模型可在 17GB RAM/VRAM 配置本地运行,并给出按「RAM+VRAM 或统一内存」合计的硬件表:4-bit 量化需 16~19GB,3-bit 12~14GB,BF16 全精度 56GB;若开启 MTP(多 token 预测)加速,还要预留 1~2GB 额外空间。第三方整理则把 Qwen3.8-27B 的 BF16 权重记为约 54GB、4-bit 约 16GB,可跑在留出上下文余量的 24GB 级消费级显卡上(YottaLabs)。
按这套口径,Unsloth 声称的 16GB 大致落在 4-bit 量化的门槛上。但变数不少:Qwen 官方博客只承诺小模型与 Max「同源的技术路线」,没有说明 27B 是延续上一代的 dense(稠密)设计,还是改用 Qwen4 新的 MoE(混合专家)加 N-gram 结构。YottaLabs 把这列为最可能改变内存测算的变量,并以 Qwen3.8-Flash-Next 为例:125B 总参数之外还挂着 51B 的 N-gram 记忆表,「名号」与实际内存占用是两个数字。Qwen4-Max 自己也如此——2.4 万亿主干参数之外另有 328B N-gram Embedding 参数。量化档位与上下文长度同样未公布,这也是评论区反复追问的点。
量化团队要在 16GB 这类内存门槛上做的权衡,在 Unsloth 文档发布的 Qwen3.8-27B-GGUF 精度曲线里看得很直观:从 4-bit 压到 2-bit、1-bit,体积可以降到约 6~10GB,但 Top-1 精度沿曲线明显下滑。
Dynamic 3.1:为 agentic 基准调校的量化算法
Unsloth 的量化文档将 Dynamic V3.1 列为其最新一代量化算法(2026 年 11 月),目前应用于 DeepSeek-V4.1-Flash-1017 和 Qwen3.8-Flash-Next,自称相比同体积的其他量化「精度提升 10~15%,token 用量节省 30%」。文档给出的成绩单也按 agentic 基准计:Qwen3.8-Flash-Next 的 IQ1_S 档在 DeepSWE v1.1 得 54.0%、Terminal Bench 2.1 得 68.3%;DeepSeek-V4.1-Flash-1017 同档量化在 DeepSWE v1.1、Terminal Bench 2.1、Automation Bench v1.0.6 三项分别为 65.8%、69.5%、51.5%。
对前代 27B,Unsloth 在 11 月 11 日刚为 unsloth/Qwen3.8-27B-GGUF 换上 Dynamic v3.1 量化,模型卡自称平均精度较其他前沿量化高 5~10%,评测覆盖 Terminal Bench、DeepSWE、LiveCodeBench 等;该仓库近 30 天下载量约 610 万次。文档同时说明其做法:以面向 agentic 编码、对话与多语言场景的高质量 imatrix(重要性矩阵)校准数据做训练后量化(PTQ),不使用 QAT/QAD(量化感知训练/蒸馏)。
对照这些先例,「新版」的含义就具体了:现役的 Dynamic v3.1 在 11 月 11 日首先用于 Qwen3.8-27B,Unsloth 预告的 Qwen4 版本将在这条线上继续迭代;它点名的 Terminal Bench 与 DeepSWE,正是前代 27B 成绩单里的 agentic 主项——Unsloth 文档转引的 Qwen3.8-27B 成绩为 Terminal Bench 2.1 得 73.0、DeepSWE 1.1 得 42.2。
Qwen 官宣:Max 先行,小尺寸模型将陆续开源
Qwen 官方博客(北京时间 16 日 10 时发布)给出了小模型计划的官方表述。Qwen4-Max 基于 Qwen4 系列全新结构:2.4 万亿主干参数,每个 token 激活 71B,另有 328B N-gram Embedding 参数;原生视觉能力,支持 100 万 token 上下文。架构围绕 Attention、Residual、Embedding 三方面对稀疏 MoE 模型升级:每四层中三层 Gated DeltaNet 配一层 Qwen Sparse Attention(QSA),Residual Stream 扩展为四条并行分支的 Gated Residual,以及仅在第二层查表的 N-gram Embedding。博客结尾写道:「Max 只是 Qwen4 的第一款模型,系列中的小尺寸模型也将陆续开源:同源的技术路线、同一代的训练与对齐积累,面向小模型真正擅长的场景做取舍。」
官方给出的效率与成本数字:在 Work360 行业基准上,Qwen4-Max 得分 52.69(Qwen3.8-Max 为 47.74);Xhigh 与 High 两档推理强度的 token 消耗分别减少约 24% 和 35%,Terminal-Bench 4.0 上分别减少约 48% 和 49%;Work360 单任务平均费用从 26.58 元降至 11.16 元,降低 58%。Qwen 官宣帖给出的 API 定价为每百万 token 输入 1.5 美元、输出 4.5 美元、隐式缓存命中 0.075 美元,均低于 Qwen3.8-Max。官方基准对比图显示其 DeepSWE v1.1 得 75.7(Qwen3.8-Max-0902 为 69.3)、Agents' Last Exam 得 46.7(27.9)。API 已上线千问 AI 平台,也可在千问办公、Qoder CN、千问 App 与 Qwen Studio 中使用。
时间线上的背景:9 月 22 日阿里巴巴在 Apsara 大会(云栖大会)上预览过 Qwen4 的四档阵容——Max、Plus、Flash 与 27B,其中 27B 被定位为开源权重的本地部署档;11 月 6 日 Qwen 官方账号发出首个预热帖「The becoming begins.」(YottaLabs)。Qwen4 系列的正式发布自 Max 开始,27B 档则在九月的预览中已有名分。
跟帖追问:16GB 里给 KV cache 留多少
主帖评论区反复追问的是 16GB 的口径。工程师 Max Petrusenko 跟帖称:「16GB 只是权重本身,长上下文的 KV cache(键值缓存)会把它顶破,除非把上下文控制在较短范围。」另一用户 WanderingVan6 直接问:「这个数字是按 4-bit 算的吗?那个体积下还能留多少上下文?」中文用户「会输」的算盘更直白:「16G 跑的是 4bit 吧,原版 27B 光权重就 54G。」独立 AI 研究者 Benjamin Marie 则在 Qwen 官宣帖下只圈出一个词——「models」这个复数,按他的读法,开源的小模型不止一款。
这些问题在 Unsloth 的两条帖子里都没有答案,Qwen 官方也没有给出小模型时间表。YottaLabs 指出的最强时间信号来自上一代的节奏:Qwen3.8-Max 于 8 月 3 日上线,27B 权重约十天后(8 月 13~14 日)登陆 Hugging Face。Unsloth 的两条预告要等权重真正开源、量化文件上架后才能验证——届时要核对的是:哪一档量化能压进 16GB、上下文能开多大,以及 Terminal Bench 和 DeepSWE 的成绩能否盖过前代 27B 的 73.0 和 42.2。
参考链接
- Unsloth AI 主帖:Qwen announces smaller Qwen4 models will be released soon
- Unsloth AI 跟帖:Qwen4 GGUFs will use a new version of Unsloth Dynamic 3.1
- Qwen 官方账号宣布 Qwen4-Max 上线并预告小模型开源
- Qwen 官方博客:Qwen4-Max:新同事,已就位
- Unsloth 文档:Qwen3.8 - How to Run Locally
- Unsloth 文档:Unsloth Dynamic 3.0 GGUFs(含 Dynamic V3.1 说明)
- Hugging Face:unsloth/Qwen3.8-27B-GGUF 模型卡
- YottaLabs:Qwen 4 27B: Release Date, What's Confirmed, and the Hardware to Prepare (2026)
- Max Petrusenko 的跟帖
- WanderingVan6 的跟帖
- 用户「会输」的跟帖
- Benjamin Marie 的跟帖