AREXOpen in interactive Feed

AREX Feed Article

vLLM 官方推介 NVIDIA 教程:两台 DGX Station 本地跑通 7530 亿参数 GLM-5.3 NVFP4

November 17, 2026

北京时间 11 月 17 日上午 7 时 30 分,vLLM 项目官方 X 账号在 X 上发帖,推介 NVIDIA 制作的一份部署教程:在两台 DGX Station 上以 vLLM 本地运行 GLM-5.3 NVFP4。帖文概括的配置是:全部模型权重驻留 GPU 显存,跨两块 GB300 GPU 做张量并行(tensor parallelism),对外只提供一个 OpenAI 兼容 API;同时启用 MTP 投机解码(speculative decoding)、FP8 KV cache(键值缓存)与前缀缓存(prefix caching)。

这份部署指南 11 月 13 日发布在 NVIDIA 开发者博客,配套的 6 分 41 秒操作视频 11 月 15 日出现在 NVIDIA Developer 频道。按博客的说法,GLM-5.3 NVFP4 的 checkpoint(模型权重文件)约 464 GB,超过单块 GB300 的 252 GB HBM3e 显存,这正是教程需要两台机器的原因:权重拆到两块 GPU 上,任何一块都不持有完整模型,每个 token(词元)的生成都要靠两台机器通过 RDMA(远程直接内存访问)交换中间结果。

双机各装一半权重,共同计算每个请求

GLM-5.3 出自 Z.ai,模型卡写明它是面向推理、编码与智能体任务的混合专家(MoE)模型;NVIDIA 用自家 Model Optimizer 工具将其量化为 NVFP4 版本,今年 9 月上架 Hugging Face。量化只作用于 MoE 块内线性算子的权重和激活,把每参数位数从 8 位降到 4 位,磁盘与显存占用约为 8 位版本的六成;模型卡的精度评测显示,NVFP4 与 FP8 两个版本在 MMLU Pro、GPQA Diamond 等 8 项基准上分数接近(MMLU Pro 87.88 对 87.81)。

尽管每个 token 只激活 400 亿参数,稀疏激活省下的是计算量;由于 token 可能被路由到不同专家,7530 亿参数必须全部留在 GPU 显存里。教程因此禁用 CPU 权重卸载,让两块 GB300 各自装载约 218 GiB 权重;博客的测量表记录两台机器的显存占用从接近 0 分别升到 231.35 GiB 与 231.34 GiB,包含 KV cache 和运行时缓冲。

架构上,Station A 作为 rank 0 承载 vLLM API 服务器,在 8000 端口提供 OpenAI 兼容端点;Station B 是 rank 1 的无头 worker,不跑 API。两台机器之间有两条 400 Gb/s 的 ConnectX-8 直连轨(RoCE,基于融合以太网的 RDMA),教程先在两条轨上验证连通,再选其中一条承载服务流量;GPU 之间的通信由 NCCL 走 GPUDirect RDMA 完成。张量并行度 TP=2,两个 rank 共同计算每个请求,答案由 Station A 返回。

MTP 投机解码:每步起草四个 token,由完整模型核验

教程的启动脚本里,与速度和显存直接相关的设置有三项。MTP(multi-token prediction,多 token 预测)是投机解码的一种:模型的 MTP 层每步起草 4 个 token,vLLM 用完整模型核验这些草稿、决定是否接受,于是每一步可能产出多个 token。博客明确提示,收益取决于草稿接受率,而接受率随提示词变化。

FP8 KV cache 把 KV 缓存的占用相对 16 位存储减半,省出的空间用于容纳更多 token;前缀缓存则让服务器跳过已处理过的提示词前缀,避免重复计算。上下文上限设为 98,304 token(输入加输出)——模型卡写明 GLM-5.3 本体支持最长 100 万 token 上下文;--gpu-memory-utilization 0.93 把 93% 的显存交给 vLLM,装完权重后剩下的部分用作 KV cache。

NVIDIA 自测:并发 16 时吞吐峰值 607.8 tok/s

博客用 NVIDIA 的推理端点基准工具 AIPerf 0.12.0 测试这个端点,数据集取 SPEED-Bench 的 80 段 Coding 对话(共 89 轮)——一组为评估投机解码而建的真实提示词,以便在真实文本上测量 MTP 的收益。测试扫描并发 1、8、16、32 四档,每档先发 3×C 个预热请求,再测 10×C 个,预热不计入指标;请求用模型默认的 max 推理档位,输出上限 8,192 token,完整扫描需要数小时。

结果全部出自 NVIDIA 自己的测量:单并发时整体吞吐 107.4 tok/s、单用户 115.3 tok/s,平均请求时延 49.84 秒,首 token 平均等待 479.75 毫秒;并发 16 时整体吞吐到达峰值 607.8 tok/s;并发 32 时整体吞吐回落到 385.0 tok/s,平均请求时延拉长到 453.54 秒,单用户吞吐跌到 13.0 tok/s,token 间隔从 8.78 毫秒涨到 77.90 毫秒,首 token 等待升到 899.36 毫秒。吞吐计数包含推理 token;vLLM 官方帖文本身没有给出任何性能数据。

从连线到基准测试:教程覆盖的完整流程

博客把流程分成五步:准备两台机器、下载并复制权重、启动双机服务、验证请求、测并发并回收资源;配套视频按同样的顺序走了一遍,覆盖准备、推理、基准测试与关机。前置条件包括:按 NVIDIA 的 Connect Two DGX Stations 手册连接并验证两台机器,含两条直连轨上的 GPU 显存 RDMA 测试;每台留出至少 464 GB 磁盘,存放各自那份完整 checkpoint;接受 NVIDIA Open Model Agreement 和 GLM-5.3 原始许可条款。跑基准还要在 Hugging Face 上申请 gated 数据集 cais/hle 的访问权限——SPEED-Bench 的准备脚本从这里取部分提示词。

镜像与权重都做了固定:容器锁定 vllm/vllm-openai:v0.30.0-aarch64 的 arm64 摘要,保证两个 rank 跑同一份软件;checkpoint 按指定 revision 下载(1 Gb/s 带宽约 1 小时,10 Gb/s 约 6 分钟),经 rsync 复制到 Station B 后,用文件清单的 SHA-256 校验两边一致,并确认 50 个 safetensors 分片齐全。启动顺序是先 B 后 A,等日志出现 Application startup complete 才算就绪;随后做两项检查——API 的 /health 探活,以及从 NCCL 日志确认两台机器确实走 GPU RDMA、没有回落到 TCP。

博客的示例请求还演示了应用侧的两个开关:reasoning_effort 设为 low 让模型少推理、快回答,high 和 max 推理更久、时延更高;工具调用已开启(glm47 解析器),使用 OpenAI tools API 的智能体框架可以直接接入这个端点。

教程写明的限制:未鉴权 API、NCCL 版本与 KV cache 容量

教程单列了一条安全提示:--host 0.0.0.0 加 --network host 会把未鉴权的 API 暴露在 Station A 的每一个网络接口上,包括管理口;要先用防火墙限制端口,并在开放给更多人访问之前加上鉴权与 TLS。

启动脚本还固定了 NCCL 版本:使用镜像内的 NCCL 2.30.7,注释写明旧版本在 RoCE 上的跨节点 CUDA graph 重放可能死锁(vLLM issue #52504)。显存侧,博客提醒 KV cache 由所有在途请求共享,更长的提示或更多用户都会更快占满它;一旦遇到 CUDA 显存不足,教程的建议是调低上下文上限或并发数再重测。

博客在结尾把这套端点的用途落在三件事上:对敏感或专有数据做本地推理、在本地原型化智能体、在不产生按 token 费用的情况下迭代提示词。它给部署者留的下一步,是拿自己的提示词重跑 AIPerf、找出适合自家负载的并发档位——607.8 tok/s 的峰值出自 NVIDIA 的机器和 SPEED-Bench 提示词,换到别的负载上能到多少,要重测才知道。

参考链接

  • vLLM 官方 X 帖文
  • NVIDIA 开发者博客:When One GPU Isn't Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM
  • 配套视频:Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM(NVIDIA Developer 频道)
  • Hugging Face 模型卡:nvidia/GLM-5.3-NVFP4
  • Connect Two DGX Stations 手册
  • cais/hle 数据集