腾讯混元开放旗舰 Hy4 权重:总参数 770B、激活 49B、1M 上下文,System Card 同步公开,Together AI 首日上线托管
北京时间 11 月 20 日 11 时 52 分,腾讯混元官方 X 账号 @TencentHunyuan 发帖宣布「今天,我们发布 Hy4 的开放权重」,官方口径为「原生多模态旗舰 MoE」(Mixture-of-Experts,混合专家架构),总参数 770B、每 token 激活 49B、上下文 1M,并称随权重一同发布的 Hy4 System Card 内含一份综合安全评估报告。帖文附上 GitHub、权重、GGUF(量化权重格式)、许可证、System Card 五个链接;经核对,GitHub 仓库、Hugging Face 权重页、GGUF 仓库与许可证文件当天均可访问,System Card 页面亦已挂出。(发布帖)
这次发布兑现了两天前的预告:11 月 18 日,Hy4 flash(224B 总参、每 token 激活 12B)已按 Tencent Hy License 开放 flash-FP8 与 flash-Base 两个版本,并预告「Hy4 coming up next」(该帖)。不到一小时后,腾讯混元再发一帖,宣布 Hy4 直接上线 Together AI(帖文);Hy 团队还预告今天在 Reddit r/LocalLLaMA 举行 AMA。
发布包:三个版本、三个平台,部署镜像同日给出
Hugging Face 模型卡的 News 栏写明本次开源三个权重:instruct(指令微调)版 Hy4、FP8(8 位浮点)量化版 Hy4-FP8 与预训练底座 Hy4-base,同步上架 ModelScope 与 GitCode;GitHub 仓库页面显示同日更新,附快速上手、部署、微调文档与基准附录。模型卡特别提醒:Hy4 base 是预训练底座,不是对话模型。
规格方面,语言骨干共 78 层(首层为稠密前馈网络 dense FFN,其余 77 层为 MoE),每个 MoE 层含 256 个路由专家和 1 个共享专家,每 token 激活 top-8 路由专家加共享专家;注意力采用 Gated DeepSeek Sparse Attention(Gated DSA,门控 DeepSeek 稀疏注意力)配 IndexCache 跨层稀疏索引复用,形式为 MLA(Multi-head Latent Attention,多头潜在注意力);上下文长度 1M,即 1,048,576 tokens。770B 的口径不含 ViT 视觉编码器(1.23B)、适配器与 5 层 DFly2 投机解码草稿模块(3.3B):Hugging Face 页面把仓库参数量标为 774B,差额与这几部分的加入相符。
部署侧,官方给出 vLLM 预构建镜像 vllm/vllm-openai:hy4 与 SGLang 镜像 lmsysorg/sglang:hy4(x86、Arm 双架构),示例命令按 8 卡张量并行启动并带 DFly2 投机解码参数,另有 vLLM 部署配方与 SGLang 指南;推理服务提供 OpenAI 兼容 API,推理力度档(reasoning_effort)默认为 high(深思维链),可切换 no_think(直接作答)。
模型卡内的基准均为腾讯第一方口径:上图 BPB(bits-per-byte,每字节比特数,越低越好)在内部代码与 agent(智能体)验证集上测得,Hy4 Base 为 0.185、Hy4 flash Base 为 0.198,低于图中对比的 DeepSeek v4 Pro-Base(0.209)、Kimi-K2-Base(0.235)等。能力重点列在视觉理解与 computer use(计算机操作)、前端与游戏开发(与腾讯互娱 IEG 合作构建数据与评测,适配 Unreal Engine、Unity、Godot)、金融与办公流程以及科研与长程个人助理;模型卡称,联合腾讯金融科技(FiT)的金融评测由 213 名从业者对 579 个真实任务打分,Hy4 平均 3.04 分、满分 4 分,居开放权重模型首位。同一张模型卡也承认:在研究级数学、长程编码、模型自我改进与高阶视觉问答等内部基准上,Hy4 与顶级专有模型之间仍有明显差距。
许可证与 System Card:大型 MaaS 业务需另行取得书面许可
权重以 Tencent Hy License v1.0 发布。许可证全文开头即声明其源自 Apache License 2.0 但已作修改,且与 Apache 软件基金会无关;核心差异在第 10 节:向第三方提供模型推理或微调远程访问(如经 API)的 MaaS(Model-as-a-Service,模型即服务)业务,若任一连续 12 个月全球总营收超过 5000 万美元(无论这部分收入是否来自该模型),或要把模型用于月活超过 1 亿的产品或服务,都必须在使用前另行取得书面许可(可以电子邮件方式);仅内部使用、且不把模型或其输出提供给第三方的情况不受此限。许可证把微调、量化、蒸馏、合并、剪枝后的版本都定义为衍生作品,并要求再分发时的附加条款不得移除或削弱第 10 节;许可洽谈邮箱为 hy_partners@tencent.com。
System Card 以 PDF 形式发布于 hy.tencent.ai/Hy4_system_card.pdf,链接同时出现在发布帖与模型卡中。关于报告内容,目前可见的描述只有官方口径:发布帖称其为「一份综合安全评估报告」,评估范围与结论需以文件本身为准。
GGUF 三档量化上线中:最大档 437.93 GiB,llama.cpp 支持仍在未合并 PR 里
腾讯模型压缩工具包 AngelSlim 的 Hy4-GGUF 仓库已可访问,但页面标题仍带「UPLOADING」(上传中)字样。文件表列出三档文本量化加一个独立的视觉编码器文件:Q4_K_M 437.93 GiB(每权重 4.89 比特,官方标注为标准 4 比特、稳妥默认档)、IQ2 309.58 GiB(路由专家 gate/up 降至 IQ2_XS,其余保持 Q4_K_M)、STQ1_0 214.65 GiB(混合精度,约为 Q4_K_M 一半大小,需专用补丁),另有 2.49 GiB 的 mmproj 视觉编码器文件。
本地运行门槛不低:按仓库说明,llama.cpp 支持目前要从未合并的 PR(pull request,拉取请求)#32517 所在分支构建(需检出指定提交 commit f8d4cc414),STQ1_0 档还要另打量化补丁;三档全量驻留约需 438/310/215 GiB 显存,另加 KV cache(键值缓存)与约 3 GiB 的 mmproj,一台 8×H20(8×96 GiB)节点可容纳其中任意一档。
Together AI 首日接入 Serverless:输入 0.83 美元/百万 token,附读图与写游戏两项实测
北京时间 11 月 20 日 12 时 45 分(主发布帖后约 52 分钟),腾讯混元发帖感谢 Together AI 的支持,称现在可以直接在 Together AI 上运行 Hy4。Together AI 博客确认 Hy4 已上线其 Serverless(无服务器托管)推理:模型字符串 tencent/Hy4,1M token 上下文,支持图像输入、工具调用与 JSON 输出;定价为每 100 万 token 输入 0.83 美元、缓存输入 0.042 美元、输出 2.50 美元,可在模型页与 playground(在线试用页)直接调用。
博客附了两项实测:给 Hy4 一张流量对比柱状图截图,它把标题与三个数值(3.18、0.16、0.14 GB/s)原样读入 JSON,再用同一张截图复刻出保留布局、标签、数值、颜色与虚线注记的单文件 HTML;另一项用一条纯文本提示,要求它在单个 HTML 文件里写一个无外部资源的浏览器小游戏,得到一个叫 Polarity 的作品。Together 写道,游戏还自行加了说明规则的标题画面和跨局保留的最高分,两者都未被要求;他们完整玩了一轮,到达游戏结束画面并成功重开。
ChessQA 自述排名第二与周五 AMA:一个尚无独立验证,一个尚未开始
开放权重公告前一天(北京时间 11 月 19 日上午 9 时 16 分),@TencentHunyuan 发帖称在 ChessQA 任务上 Hy4 于所有模型中排名第 2(帖文)。帖文没有附分数、评测设置或对比范围,属腾讯自述口径,目前没有独立验证。
AMA 是这套发布安排的下一步:Hy 团队 11 月 18 日预告、并在今天的旗舰发布帖中再次确认,将于太平洋时间 11 月 20 日上午 8~10 点(北京时间 11 月 21 日凌晨 0~2 点)在 r/LocalLLaMA 现场答疑;预告帖写明研究团队与 @ShunyuYao12 将出席,主题是拆解他们如何造出「超快、最低成本的日常模型」(预告帖)。截至发稿,AMA 尚未开始。
参考链接
- 腾讯混元发布 Hy4 开放权重(X,2026-11-20)
- 腾讯混元宣布 Hy4 上线 Together AI(X,2026-11-20)
- Hy4 flash 开放权重与「Hy4 coming up next」预告(X,2026-11-18)
- ChessQA 排名自述(X,2026-11-19)
- r/LocalLLaMA AMA 预告(X,2026-11-18)
- Hugging Face:tencent/Hy4
- GitHub:Tencent-Hunyuan/Hy4
- ModelScope:Tencent-Hunyuan/Hy4
- GitCode:tencent_hunyuan/Hy4
- Hugging Face:AngelSlim/Hy4-GGUF
- Tencent Hy License v1.0 全文
- Hy4 System Card(PDF)
- Together AI 博客:Tencent Hy4 is live on Together AI
- Together AI 模型页:tencent/Hy4
- vLLM 部署配方:Tencent Hy4
- SGLang 部署指南:Tencent Hy4