腾讯混元 Hy4 flash 开放权重上架 Hugging Face,vLLM 首日适配
北京时间 11 月 18 日中午 12 时 39 分(UTC 04:39),腾讯混元官方 X 账号 @TencentHunyuan 发布帖文宣布 Hy4 flash 开放权重:包含 Hy4 flash-FP8 与 Hy4 flash-Base 两个版本,官方口径为 224B 总参数、每 token 激活 12B、1M 上下文、原生多模态,按 Tencent Hy License 条款发布,帖文附 Hugging Face、GitHub、技术报告与许可条款链接。Hugging Face 模型卡与 GitHub 仓库现已可访问。约 20 分钟后(北京时间 13 时许),vLLM 官方账号宣布提供首日(Day-0)支持,给出专用 Docker 镜像与部署配方。
这是既定计划的兑现。Hy4 flash 于 11 月 16 日由腾讯混元发布,定位日常生产力场景;官方研究页当时写明「计划以开放权重模型发布」,并宣布 WorkBuddy 内限时免费、腾讯云 TokenHub API 五折至 11 月 30 日。11 月 17 日,官方账号还征集过用户实际使用案例,称将精选展示。
三个仓库同步可下载,Tencent Hy License 文本一并公开
帖文点名的两个版本分工明确:FP8(8 位浮点)是量化后的指令对话(instruct)版本,Base 是预训练底座——模型卡特别注明,Hy4 flash-base 不是指令微调的对话模型,卡中对话与推理示例仅适用于 instruct 版。模型卡 News 部分还显示,BF16(bfloat16 浮点格式)的 instruct 版 tencent/Hy4-flash 一并开放,三个仓库同时上架 ModelScope 与 GitCode。
权重体积不小:vLLM 配方列出两套权重文件(checkpoint)的下载体积,BF16 版 440.5 GB,FP8 版 287.1 GB。
许可条款随权重一并公开。帖文与模型卡均写明采用 Tencent Hy License,许可文本(Version 1.0)开头自述:它源自 Apache License 2.0 并作了修改,主要是在第 10 节加入针对大模型 MaaS(Model-as-a-Service,模型即服务)业务的商业条款,并声明它不是 Apache 2.0 本身、也与 Apache 软件基金会无关。打算以云服务形式对外提供该模型的团队,对应条款集中在这一节。
模型卡给出完整参数构成:约 220B 分项与三处架构改动
224B 总参数是帖文口径;新上线的模型卡给出了分项表:主干 155.5B、Engram 参数 63.5B、视觉编码器(ViT)0.43B、投机解码草稿头 DFly2 0.85B,合计约 220B。帖文口径的每 token 12B 激活,在模型卡中细分为文本 11.3B 加视觉 0.43B。两组数字均出自腾讯第一方材料。
架构细节也随模型卡公开:42 层语言主干由 1 层稠密前馈层(dense FFN)与 41 层 MoE(Mixture-of-Experts,混合专家)层构成,上下文窗口为 1M(1,048,576)token。相比 Hy4,它有三处主要改动:稀疏注意力(IndexPool)与滑窗注意力(SWA)按 1:3 交错排布的混合注意力;专家在低维潜空间运算的 LatentMoE,每 token 从 512 个路由专家中激活 16 个、另有 1 个共享专家;以及经多头哈希查找检索双字组、三字组表示的 N-gram 嵌入 Engram。视觉编码器改编自 SigLIP2-So400m-Patch16-Res512,经 MLP projector(多层感知机投影模块)接入主干;内置的 5 层草稿头 DFly2 复用目标模型的 KV cache(键值缓存)与稀疏索引,以较低且恒定的开销支撑长上下文投机解码。
模型卡同时重申两项效率声明:KV cache 降至 Hy3 的 1/24、Hy4 的 1/6;推理侧结合 megakernels、4-bit 量化与 DFly2,解码速度可超过 150 tokens/s。WorkIndex 任务得分、与 Claude Haiku 5.5 对标的盲测满意度等表现数据也随卡公开,均为腾讯自评。
vLLM 首日适配:专用镜像可用,pip 安装与 AMD Instinct 暂不支持
vLLM 称适配由 @inferact 完成集成工作,面向 NVIDIA GPU,给出专用 Docker 镜像 vllm/vllm-openai:hy4-flash 与部署配方。
配方写明的门槛不低:默认配置为 8× H200、张量并行(另有可选的专家并行)、BF16 计算,硬件限定 Hopper 或 Blackwell 数据中心 GPU(H100/H200/B200/GB200/B300/GB300);暂无 ROCm(AMD 的 GPU 计算软件栈)镜像,AMD Instinct 不受支持;目前没有已发布的 vLLM wheel(Python 安装包)注册 Hy4 flash 架构与 DFly 草稿头,pip(Python 包管理器)安装不可用,必须使用专用镜像;Engram 嵌入表默认卸载到主机内存,部署时除显存外还要预留相应内存;权重文件可能要求先在 Hugging Face 登录授权。
显存参考方面,配方给出 BF16 529 GB、FP8 345 GB,并注明这是下载体积乘以 1.2 的保守估算,不是实测最低值——Engram 卸载到 CPU 后实际占用会更低。默认启动参数只开 8,192 token 上下文、4 条并发、每条提示 1 张图;要用满 1M 上下文,需按显存预算上调 --max-model-len 等参数。DFly 投机解码默认开启;MTP(multi-token prediction,多 token 预测)不受支持;数据并行、流水线并行、上下文并行、EPLB、DBO 与低秩适配(LoRA)也均暂不支持。
生态配套还有三条:模型卡推荐生产部署用 vLLM 或 SGLang,SGLang 侧提供官方镜像 lmsysorg/sglang:hy4-flash 与部署手册(cookbook);transformers 支持尚未合入主分支,需按模型卡给出的开发分支提交(PR commit)安装;腾讯 AngelSlim 提供了一个用于端到端测试的 GGUF(量化模型文件格式)压缩版。
「Hy4 将接续推出」的预告没有说明所指,表现数据均为腾讯自评
开放权重帖文以「Hy4 将接续推出」的预告收尾。官方材料中,Hy4 是同系列里能力上限更高的型号:模型卡建议长程软件工程等复杂任务改用 Hy4,其 WorkIndex 得分为 51.4,高于 Hy4 flash 的 42.1。预告指的是 Hy4 的开放权重、新版本还是其他内容,帖文没有说明。
两点边界值得留意。其一,模型卡自带免责声明:base 模型在 mid-training(训练中段)阶段接触大量合成指令数据,few-shot(少样本)评测中偶发不按预期格式作答,分数可能因此失真。其二,本文可核对的表现数据——盲测满意度、任务成本、解码速度——全部来自腾讯第一方材料,第三方独立结果不在本次信源范围内。
对想立即自部署的团队,模型卡给出的是一条现成命令:vllm/vllm-openai:hy4-flash 镜像加载 FP8 权重,8 卡张量并行启动。