AREX Feed Article
vLLM 官宣 Day-0 支持 Ling-3.1-flash：约 560B 总参、每 token 约 25B 激活、最高 1M 上下文可自托管
北京时间 10 月 14 日 23 时 39 分，vLLM 项目官方 X 账号 @vllm_project 宣布：Ant Ling 的 Ling-3.1-flash 已获 vLLM Day-0（发布当日）支持，总参数约 560B、每个 token 激活约 25B、上下文最高 1M token，用户可以用 vLLM 在自有基础设施上 serving 这个模型。帖文同时向 @AntLingAGI 道贺，并称该模型能“从一份粗略的 brief 生成网站、移动 UI 和交互式原型”。
这条帖子没有附任何性能数据；它公布的是支持本身：模型开源当天，推理引擎侧的接入已经就位。约 20 分钟前，@AntLingAGI 刚在 23 时 19 分宣布 Ling-3.1-flash 开源，权重挂上 Hugging Face；这个 560B 混合专家（MoE，Mixture of Experts）模型此前未开放权重，自托管这条路，从昨晚起也通了。
先开源，后 Day-0 支持
两条帖子相距 19 分 31 秒。23 时 19 分，：“Ling-3.1-flash 现已开源：总参数约 560B，每 token 激活约 25B，上下文最高 1M。它为真实工作而建，能把一份粗略的 brief 变成团队可以评审和打磨的页面、移动 UI 或交互式原型。”23 时 39 分，，宣布 Day-0 支持并祝贺 @AntLingAGI。这个账号的自我介绍是“面向大模型的高吞吐、省内存推理与 serving 引擎”。
为蚂蚁集团 AGI 倡议（@TheInclusionAI）旗下的 MoE 模型系列，覆盖基础（Ling）、推理（Ring）和任意到任意（Ming）三条产品线；这次开源的权重，挂在 Hugging Face 的 inclusionAI 组织下。
Ling-3.1-flash 并非 10 月 14 日才面世。，Ant Ling 发帖公布规格时写明“计划很快开源”。10 月 8 日前后，一批 Day-0 合作方相继上线： 列出“560B 总参、25B 激活、262K 上下文”并限时免费； 在 AI Gateway 免费开放至 10 月 13 日； 同样免费到 10 月 13 日； 把它带上 OpenRouter。这批限时免费在 10 月 13 日前后到期，开源权重次日上线。
一个口径差值得留意：OpenCode 10 月 8 日列出的上下文是 262K，而这次开源的写明 1M-token 上下文窗口。前者是合作方页面口径，后者出自权重方自己的模型卡。
模型卡口径：7:1 混合注意力、512 选 8 专家、MIT 许可
把 Ling-3.1-flash 定义为“升级版原生混合推理模型”，面向复杂真实任务，在前代 Ling-3.0-flash 基础上改进。规格表显示：Hybrid-linear MoE（混合线性 MoE）架构；63 层 KDA 与 9 层 Gated MLA（门控多头潜在注意力）按 7:1 组成 9 组模块；前 4 层为稠密 FFN（前馈网络），隐藏维度 10,240，不接 MoE；512 个路由专家加 1 个共享专家，每 token 激活 8 个；64 个注意力头；隐藏维度 4096；词表规模 157,184。
架构图补充了两个关键标注：KDA 在图中写作 Kimi Delta Attention，标注为线性时间复杂度；训练目标是在 Next-Token Prediction 之外加入 Multi-Token Prediction（MTP，多 token 预测），后文部署命令里的投机解码即来自这里。
显示，权重以 MIT 许可发布，量化配置为 FP8（8 位浮点），模型类名 BailingMoeV3ForCausalLM；仓库页同时列出 safetensors 规模：572B 参数，BF16、F8_E4M3、F32 混合精度。
模型卡里的 vLLM 部署命令：8 卡并行、ling3 解析器、MTP 投机解码
模型卡的 vLLM 一节从源码安装开始：克隆 vllm-project/vllm 仓库的 vllm 分支，用 VLLM_USE_PRECOMPILED=1 配合 uv 安装可编辑环境。示例 serving 命令使用 --tensor-parallel-size 8（8 卡张量并行），外加 --enable-expert-parallel（专家并行）、--enable-prefix-caching、--mamba-cache-mode align，以及工具调用与推理解析器 --tool-call-parser ling3、--reasoning-parser ling3；投机解码按 {"method":"mtp","num_speculative_tokens":3} 配置。采样参数官方推荐 temperature=1.0、top_p=0.95、top_k=20，并打开 enable_thinking。
另一推理引擎 SGLang 同样给出 day-0 镜像 lmsysorg/sglang:dev-ling-3.1-flash，内置 MTP（NEXTN）投机解码与针对英伟达 Hopper 架构的解码优化（可选，批大小 1 时解码约快 10%）；参考配置是 8×H200（TP8+EP8），GB300 上可用 4 卡（TP4+EP4）。模型卡称，针对 H200、GB300、H800、H100、B200 的已验证配方和实测精度与速度数字，都收在 中。
数字从哪来：模型卡自报评测，六个对比模型画在同一张图里
vLLM 的帖文只有支持声明；模型卡里的数字由权重方自己给出。称模型在 GDPval-AA v2.1、HealthBench Professional、FrontierSWE、Terminal-Bench 4.0 等基准上表现强劲，并给出一张与 GPT-5.6 Sol、Claude Opus 5、Kimi K3、GLM 5.3、GLM 5.3 flash、DeepSeek-V4.1-Flash 同图对比的评测总览（即本文封面图）：GDPval-AA v2.1 得 1,673，低于 Claude Opus 5 的 1,708，高于 GLM 5.3 的 1,644；Terminal-Bench 4.0 得 46.03，仅次于 Claude Opus 5 的 49.00；FrontierSWE 得 75.16、HealthBench Professional 得 65.35，均为图中最高。这组数字与 Ant Ling 9 月 30 日帖文给出的 1,673 Elo、75.16、65.35 完全一致。
图下脚注有两个限定：HealthBench Professional 在 AQ 环境中评测，医疗能力目前只能在 AQ 体验；Terminal-Bench 4.0 与 SWE Atlas 的成绩来自 LingCode——inclusionAI 基于开源编码智能体（agent）Pi 构建的长程编码框架，支持连续跑数小时、数百轮工具调用的任务，计划在未来版本开源。
第三方数据目前有一条：称，Ling 3.1 Flash 在其智能指数（Intelligence Index）上得 41 分，较前代大幅提升。
自托管的显存账单：回复区先算了起来
“在自有基础设施上 serving”很快引出具体算术。用户 ，Hugging Face 上的 FP8 权重约 574 GB，“这里的自有基础设施意味着一台多卡节点，而不是工作站”，并追问会不会有 4-bit 版本。：“560B 总参、25B 激活，解码便宜，放着贵。FP8 下光权重就约 560 GB，一台 8×H100（640 GB 显存）的机器在还没碰长上下文之前，留给 KV cache（键值缓存）的空间就很有限。这模型真正想要的是 H200 或 B200 级别的显存。”也有回复。
这些是用户的估算和观感，不是 vLLM 或 inclusionAI 的口径；不过模型卡部署一节自己给出的起点，同样是 8 卡级别的多 GPU 节点。
按模型卡的说法，实测精度与速度数字收在它指向的 SGLang cookbook；开源权重进入用户自有硬件后的独立复测，尚未见于本报道核查的来源。