vLLM 官宣 Day-0 支持腾讯混元 Hy4:774B 旗舰接入,发布 BF16/FP8 专用镜像
11 月 20 日中午 12 时 16 分(北京时间),vLLM 项目官方 X 账号 @vllm_project 在 11 秒内连发四帖,宣布对腾讯混元(Tencent Hunyuan)Hy4 的「Day-0 支持」:这个把文本、图像与视频放进同一个模型处理的 774B 参数旗舰,当天起就有了一条官方给出的 vLLM 服务路径。获取方式写在第四帖——Docker 镜像 vllm/vllm-openai:hy4,配一份部署配方(recipe)页面;帖文说明服务路径在 NVIDIA CUDA 上提供 BF16 与 FP8 两种精度。帖文同时写明分工:腾讯主导模型实现,Inferact 贡献集成与审查,并按帖文说法已经在生产环境中用 vLLM 服务 Hy4。
四连帖里最具体的数字是一张分数卡:Hy4 在一项覆盖 579 项真实金融任务、由 213 名金融专业人士参与的盲测中总分 3.04(4 分制),高于 DeepSeek-V4.1-Flash-1017 的 2.97,以及 Kimi K3.1 Pro 与 GLM-5.3 的 2.68。这项评测不是 vLLM 做的——卡片底部把出处指向腾讯 11 月 4 日的官方公告,执行方是腾讯混元团队与腾讯金融科技。
四连帖:支持口径、分工与获取方式
第一帖给出能力口径:文本、图像与视频统一在一个模型里,「阅读视觉文档、比较图像,并结合文本对视频片段进行推理」。第二帖放上盲测分数卡。第三帖给出服务路径与分工:视觉编码器(vision encoder)与投影器(projector)接入 Hy4 的稀疏注意力 MoE(Mixture-of-Experts,混合专家),BF16/FP8 跑在 NVIDIA CUDA 上;腾讯主导模型实现,Inferact 负责集成与审查,并在生产环境以 vLLM 服务 Hy4。第四帖给出镜像与 recipe 链接,致谢腾讯混元、Inferact、NVIDIA 与 vLLM 社区。
配套的 recipe 页面今天已经可以访问,把模型写作 tencent/Hy4——774B 总参数、每 token 激活 49B 的旗舰 MoE,上下文标称 1,048,576 token。页面列出两个共享同一架构 HYV4VLForConditionalGeneration 的 checkpoint(权重文件):默认的 tencent/Hy4-FP8 与 BF16 版 tencent/Hy4,后者模型卡已在 Hugging Face 上线,截至发稿显示更新于 11 月 20 日。recipe 还特意划清界限:这个 Hy4 不是两天前支持的 Hy4-flash,也不是纯文本的 Hy4-preview,三套是独立权重、各有各的 recipe。
Inferact 的 CEO Simon Mo 同时是 vLLM 的主维护者之一——这是 vLLM 官方对其 PyTorch Conference 演讲的介绍;他在 11 月 18 日的一篇帖文里说明,Inferact 将围绕 vLLM 构建一个自主推理系统,「既改进引擎,也让它改进自己」。这次负责集成与审查的一方,本身就是围绕 vLLM 开展业务的公司。
视觉特征如何走进稀疏注意力 MoE
vLLM 第三帖的配图把链路画成四步:预处理(像素与帧网格、归一化与 patch 化)→ 视觉编码器(图像与视频塔输出视觉特征)→ 投影器(做空间/时间合并,转成与文本同宽的 embedding,即嵌入向量)→ 语言模型(视觉 token 与文本 token 合并,进入 Hy4 的稀疏注意力 MoE)。图上还标了一条「Positions stay aligned」:网格元数据映射为 M-RoPE(多模态旋转位置编码)位置参与生成。卡片注明这条集成出自 vllm-project/vllm 的 PR #68296。
PR #68296 的标题是「[Model] Add HY4 Flash and multimodal support」,作者 jeejeelee,描述覆盖图像/视频处理、M-RoPE、工具解析、与目标模型共享 KV 缓存和稀疏索引的 DFly 投机解码(speculative decoding),以及 Rust 前端。按 PR 页面列出的验证说明,pre-commit 与 39 项 cargo 测试已通过,但部分 Python 测试当时未通过——RoPE 与视觉测试的兼容性问题、一次门控模型访问失败——在 rebase 后提交上做全新的端到端权重验证,标注仍为「待完成」。
模型卡补齐了被接入方的结构。注意力是门控 DeepSeek 稀疏注意力(Gated DSA),配 IndexCache 做跨层稀疏索引复用,形式上采用 MLA(Multi-head Latent Attention,多头潜在注意力),indexer 每个 token 只选 top-2,048 个 token 参与注意力;残差通路用 iHC(identity Hyper-Connections,恒等超连接)扩展成四路残差流。78 层中首层是稠密 FFN(前馈网络),其余 77 层为 MoE:每层 256 个路由专家取 top-8、外加 1 个共享专家;文本路径每 token 激活 49B 参数。视觉编码器 1.23B 参数、40 层,支持动态分辨率,经 adapter(适配模块)把图像与视频帧特征转成视觉 token。DFly2 草稿模型 5 层、3.3B 参数,内置于两个 checkpoint,复用主模型的 KV 缓存与稀疏索引,不占额外显存。
FP8 checkpoint 用的是 blockwise W8A8 compressed-tensors 量化,lm_head、视觉塔、首层 attention 与 indexer 投影保持不量化,vLLM 直接从 checkpoint 读量化方案、不用另加参数;recipe 说明它与 Hy4-preview-FP8 的 MXFP8 格式不是一回事。两条硬约束也写在 recipe 里:DFly2 要求数据并行、流水线并行与上下文并行度均为 1,所以 recipe 只提供单机张量并行(TP)配置;AMD Instinct 不支持,因为 vLLM 的 ROCm 移植既没有这个视觉编码器,也没有 DFly2 草稿模型。
盲测的执行方与口径
盲测的设置写在腾讯 11 月 4 日的官网发布公告里:评测由腾讯混元团队与腾讯金融科技(Tencent Financial Technology)共同执行;参与者中有 153 人来自外部主要机构,其中约七成具有五年以上行业经验。Hugging Face 模型卡给出同一组数字与口径。vLLM 四连帖的正文只有一句结论——Hy4 总分 3.04——评测设置不在帖文里;帖文配图则写明:「这些是模型质量分数,不是 vLLM 服务基准。」到目前为止,公开可查的评测出处都在腾讯一侧,vLLM 转述了结果。
11 月 18 日的 Hy4-flash,与 11 月 20 日的旗舰版
11 月 4 日,腾讯发布 Hy4,公告写明首次加入视觉理解与 computer use——可操作命令行与图形界面,训练覆盖 Blender、CAD 等专业软件——API 定价为每百万输入 token 约 0.90 美元、输出 2.70 美元、缓存输入 0.045 美元。11 月 18 日,vLLM 宣布 Day-0 支持 Hy4-flash:224B 总参数、含 64B Engram、每 token 激活 12B、1M 上下文,镜像为 vllm/vllm-openai:hy4-flash,集成同样由 Inferact 完成;同一天,vLLM 发布 v0.34.0 正式版(1,061 个提交、412 名贡献者、新增 10 个模型)。11 月 20 日,轮到旗舰 Hy4。
两份帖子的侧重也不一样:flash 版强调 1M 上下文与文档、幻灯片、计算机操作这类场景,旗舰版则把金融盲测分数和服务路径各占一帖。
视频默认关闭,1M 上下文尚未验证
按 recipe,默认配置——FP8 checkpoint、TP8、Rust 前端、FLASHMLA_SPARSE 注意力后端、bfloat16 计算、hy_v4 工具与推理解析器、DFly2 五个投机 token——要求一台 8 卡 NVIDIA 节点:FP8 约需 944 GB 聚合显存,BF16 约 1,859 GB(8× B300);主机侧还要装下 checkpoint,FP8 约 786 GB、BF16 约 1,549 GB,各 245 个 safetensors 分片。v0.34.0 不注册这个架构,想直接跑要么用 vllm/vllm-openai:hy4 镜像、要么装 nightly wheel(每夜构建的安装包);0.35.0 才会是第一个内置支持的正式版,目前尚未发布。
两个默认值与帖文口径有距离。其一,多模态:recipe 默认每条请求只收 1 张图、视频输入关闭(与模型卡启动行一致),要放开得改 --limit-mm-per-prompt——帖文里「结合文本对视频片段推理」的能力,默认配置下是关着的。其二,上下文:checkpoint 标称 1,048,576 token,recipe 从已验证的 131,072 起步(32 条并发、8,192 个 batched token),完整 1M 请求在该 recipe 中尚未验证;模型卡启动行不设这三项限制,会按完整 1M 窗口服务。腾讯建议的采样参数是 temperature 0.9、top_p 1.0,推理深度 reasoning_effort 默认 high,可切到 no_think 直接出答案。
官宣之后,仍未闭合的是 Inferact 的生产部署说法——「在生产环境中以 vLLM 服务 Hy4」只有帖文口径,公开渠道查不到部署细节。recipe 里那行从 131,072 上下文起步的默认命令,对应的是官方 recipe 给出的已验证窗口。
参考链接
- vLLM 四连帖 1/4:Day-0 support for Tencent Hunyuan Hy4
- vLLM 四连帖 2/4:盲测分数卡
- vLLM 四连帖 3/4:服务路径与分工
- vLLM 四连帖 4/4:镜像、recipe 与致谢
- vLLM recipe:tencent/Hy4
- Hugging Face 模型卡:tencent/Hy4
- 腾讯官方公告:Tencent Launches Hy4
- vLLM PR #68296:Add HY4 Flash and multimodal support
- vLLM 帖文:PyTorch Conference 上介绍 Simon Mo 为 Inferact CEO、vLLM 主维护者
- Simon Mo 帖文:Inferact 将围绕 vLLM 构建自主推理系统
- vLLM 帖文:Day-0 支持 Hy4-flash
- vLLM 帖文:v0.34.0 发布