AREX Feed Article
SparkLLM 开源 Spark-X2.6-4B:4B 参数、1M token 上下文、可控思考,vLLM 称 Day 0 即可服务
北京时间 10 月 21 日上午 10 时 19 分,vLLM 项目官方 X 账号宣布:SparkLLM 团队的 Spark-X2.6-4B 已上线,vLLM 从发布首日(day 0)起即可为它提供推理服务,并向 @SparkLLM 团队致贺。帖文列出的规格共四项:1M token 上下文、4B 参数、Apache 2.0 许可、可控思考(controllable thinking)。
更早的北京时间 10 月 21 日凌晨 2 时 36 分,已先在 X 上官宣这款模型:更强的编码、代理与长上下文能力来自改进的后训练(post-training),思考档位分 none / low / high 三种,帖文同时圈了 Hugging Face、ModelScope、Ollama、vLLM 和 SGLang 五个平台的账号。权重确实已经落地:标注 4.11B 参数、BF16 格式,许可证为 Apache 2.0,页面更新于 10 月 20 日;显示模型体积 8.2 GB、上下文窗口 1M。截至本文核对时(北京时间 10 月 21 日 14 时许),HF 页面显示 56 个赞、下载量为 0——这是一次刚落地几个小时的发布。
可控思考:none / low / high 三档怎么用
帖文里的可控思考,在模型卡中写作「Controllable Thinking Budget」:三个可配置的思考档位——none、low、high——让应用在推理质量、延迟和推理成本之间动态取舍。
调用侧的开关已经写进文档。chat template 默认开启思考(enable_thinking=True);模型卡的 SGLang 示例显示,想对单次请求关闭思考,在请求体里传入 chat_template_kwargs 的 {"enable_thinking": false} 即可。服务端用 --reasoning-parser qwen3 解析思考段,工具调用走 --tool-call-parser spark25。Transformers 示例给出的采样参数为 temperature 1.0、top_p 0.95,单次生成上限 131,072 token。
1M 上下文:架构没动,训练动了
模型卡明确写道,Spark-X2.6-4B 与 Spark-X2.5-4B 架构完全相同,能力提升全部来自改进的后训练。也就是说,1M 上下文的承重结构还是上一代那套:Spark-X2.5 官方 介绍,该系列采用混合注意力架构——每 1 层全注意力(full attention)搭配 3 层滑窗注意力(sliding-window attention)——用以压低长上下文的计算开销,并原生支持 1M token 上下文、200 多种语言;X2.5 当时在华为昇腾集群上训练,官方称使用了 MOPD 等大规模强化学习与后训练技术。
1,048,576 这个数字也写进了部署命令:模型卡的 SGLang 示例以 --context-length 1048576 启动 OpenAI 兼容服务,并提醒该设置需要足够的显存,不足时应调低。Ollama 页面同样标注 1M context window。
官方口径的成绩:多处压过 9B 模型,长上下文推理仍落后一处
模型卡给出的基准图(下图)列了八项代理与编码基准、六个模型的对比。按图上数字:BFCL-V4(函数调用)71.8,高于 Qwen3.5-9B 的 66.1;SWE Pro(软件工程)54.3,比 Spark-X2.5-4B 的 44.4 高出近 10 分,比 Qwen3.5-9B 的 33.8 高出 20.5 分;BrowseComp(网页浏览)53.1 对上一代 40.9;MCP-Atlas(MCP 工具调用)62.4 对 54.6;PAgentBench(个人助理)74.1 对 59.4。长上下文推理 AA-LCRv1.1 上,它拿到 67.3,仍落后 Qwen3.5-9B 的 70.0。
这些数字全部出自 SparkLLM 团队自己的模型卡,属厂商口径,本文未做独立复测。模型卡据此宣称其在同规模开源模型中达到 state-of-the-art(同类最优),并「追平甚至超过约 9B 参数的模型」——后半句同样需要按厂商宣称对待。
推理侧另有一张图:模型卡在 RTX 4090 与 16 核 Mac M5 Pro 两套硬件上,对比 4K~256K 上下文长度的预填充与解码吞吐,对比对象包括 Qwen3.5-4B(llama.cpp Q4_K_M)与 Gemma4-E4B,Spark-X2.6-4B 另有 TensorRT INT4 与 MLX INT4 两条曲线。卡上的结论是:推理效率与同类端侧模型持平或更好。
从 X2.5 到 X2.6:50 天
X2.5 系列于 2026 年 9 月 1 日全球上线,含 4B 与 1.7B 两款。GitHub 仓库的更新日志显示,llama.cpp 在 9 月 6 日(b10829)加入原生架构支持,LM Studio 9 月 8 日、Ollama 9 月 15 日跟进。下载曲线走得很快:官方 9 月 11 日称;9 月 29 日宣布,其中 66.1 万来自 6 个官方渠道、38.2 万来自 99 个社区构建;10 月 14 日,并称从 100 万到 200 万只用了 15 天——同一条帖文预告「Spark-X2.6-4B / 1.7B 即将开源」。
这次兑现的是 4B。GitHub 仓库 README 已加入一行「[2026/10/21] Spark-X2.6 系列在 Hugging Face、ModelScope、Ollama 全球发布」,但截至发稿,各渠道已上线的公告只涉及 4B 一款;预热时与 4B 并提的 1.7B,本文检索到的各公开渠道均未给出发布时间。
部署路径已铺好,第三方验证还没有
模型卡列出的运行方式相当全:vLLM 提供 vllm/vllm-openai:latest 镜像与 vllm serve 命令(--trust-remote-code、启用前缀缓存、挂载仓库内的 chat_template.jinja),昇腾 NPU 环境还需另装 Spark-plugin;其余路径包括 SGLang、llama.cpp(需 b10828 及以上)、MLX(Spark-MLX-LLM 仓库)、Ollama(一条 ollama run SparkLLM/Spark-X2.6-4B)、LM Studio,以及支持原生 GGUF 推理的 Unsloth,微调推荐 Llama-Factory。
vLLM 的「day 0」说法,目前主要靠这两样东西支撑:一条官方贺帖,加上模型卡里现成的部署命令。发布几小时后,能查到的第三方信号还很薄:Ollama 页面显示 49 次下载;vLLM 贺帖下,用户 回复称,「可控思考」作为规格说明很漂亮,但真正的考验是超过一百万 token 后模型是否保持连贯、思考预算会不会把延迟推高。截至发稿,公开渠道还查不到回答这两个问题的独立测试。