混元团队首次 Reddit AMA:Hy4-mini 列入路线图,团队称下一代 Hy 规模将显著扩大
11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和混元团队研究员出现在 Reddit 的 r/LocalLLaMA 板块,做了一场两个小时的 AMA(Ask Me Anything,有问必答)。据21 世纪经济报道,两小时内问答页面收到 300 多条留言;团队在问答中确认,更小尺寸的 Hy4-mini 已列入研发路线图,还计划推出更轻量的 Flash-Lite,并称下一代 Hy 模型的规模「一定会进一步显著扩大」。
两款小模型的参数规模和发布时间均未公布,下一代 Hy 也只给出了「显著扩大」这一方向。
从「See you soon」到 300 多条留言
36 氪刊发的智东西问答整理附了一张姚顺雨 X 账号的截图:他转发腾讯混元的公告,只写了一句「See you soon :)」。公告里的时间是 11 月 20 日太平洋时间上午 8 至 10 点,对应北京时间 21 日凌晨 0 点到 2 点,与报道中「持续两小时」的说法一致。
21 世纪经济报道称,这是混元团队首次在开发者社区直面全球用户的密集提问;极客公园同样把它记作混元第一场面向全球开发者的公开 AMA。问题从注意力机制选型、MoE(混合专家)稀疏度,延伸到本地部署、开源生态和 AGI。
这场问答发生在一轮密集发布之后。按 21 世纪经济报道的记录,今年 2 月腾讯完成混元团队与基础设施重建,此后大致保持每两个月迭代一个大版本的节奏;11 月 4 日发布 Hy4 正式版,采用 MoE 架构,总参数 770B、激活 49B,并首次加入视觉理解与电脑操作能力。随后主打低成本的 Hy4 flash 跟进,总参数 224B,其中 64B 是 Engram 参数,每个 Token 激活 12B(智东西)。
小模型的三层梯队:mini、Flash-Lite 与待定的 24B~31B
直接问 Hy4-mini 的开发者得到的是肯定答复:它已经在开发路线图中。问到面向低延迟任务的 Flash-Lite,团队回应「会的」,并说可以期待一款技术先进的 Flash-Lite 模型(智东西)。极客公园把 Hy4-mini 与 Flash-Lite 并列为「已在规划中」。
另一些被问到的尺寸还没定型。24B~31B 的稠密模型,团队表示正在考虑;更小的稠密模型也有推出的可能,但目前可能不会专门开发 100B 以下、面向编程任务优化的模型(智东西)。
新京报的转述里出现了一个具体尺寸:团队谈到「例如 35B-A3B 的『Flash Lite』模型」这类轻量模型。35B-A3B 是问答中被举出的例子,不是已公布的规格。
图像侧同样在往小里做。有人指出 HunyuanImage-3.0 对多数本地设备来说过大,希望有更容易在个人设备上运行的版本,团队回应正在考虑这个方向;极客公园的整理提到 5~12B 级小型开源图像模型在考虑范围内。一位研究员给出的能力参照是:激活参数约 30 亿的模型,已经可以支撑对图片、界面截图与图表的理解并据此推理(21 世纪经济报道)。
以上型号与尺寸都出自腾讯团队在问答中的自述。
一边说小模型够用,一边确认下一代更大
参数规模的问题被直接提了出来。有提问者指出,字节跳动、Kimi 等公司已将目光投向 3 万亿乃至 5 万亿参数的超大模型,而混元仍停在 700B 量级(21 世纪经济报道)。团队的回答分成两半:一半是 Hy3 和 Hy4 的经验表明,训练扎实的较小模型也可能超过更大的模型,而且运行成本更低;另一半是团队认为规模定律依然存在。
成本那一半有数字支撑。智东西记录的腾讯披露数据显示,Hy4 flash 在自建日常工作任务评测 WorkIndex 中的单任务成本只有 Hy4 的 1/20;在 85 名内部用户、259 项工作任务的盲测中,单任务成本约为 0.26 元。
规模那一半只有方向。有网友直接问,Hy4.5 是否会把参数扩大到 1.5 万亿~2 万亿,团队的回答是下一代 Hy 模型肯定会进一步大幅扩大规模,没有给出具体数字。
团队同时表示,Hy4 在后训练和大规模强化学习上仍有很大提升空间,会继续在这条线上投入(智东西)。
被问到 Hy4 在 DeepMind 的 AGI 能力分级里处于哪一级,一位团队成员给出的个人判断是「大约 2.5 级」(智东西)。
选 MLA 的理由:DSA 降低了它的解码算力
架构选型是这场问答里另一处新披露的细节。团队说,确定 Hy4 架构时曾在 GQA(分组查询注意力)和 MLA(多头潜在注意力)之间反复权衡:在 KV Cache(键值缓存)占用相同的情况下,MLA 的模型表现更好,但算力强度明显更高,使用推测解码时 GPU 算力会成为瓶颈。引入 DSA(DeepSeek 稀疏注意力)之后,MLA 在解码阶段的算力需求降了下来,权衡结果随之改变,团队最终选择了 MLA(21 世纪经济报道、智东西)。
Hy4 flash 沿用了 Hy4 的 iHC、门控 MLA 和 DSA,又加入混合 SWA(滑动窗口注意力)、LatentMoE 和 Engram。按团队的说法,SWA 能把 KV Cache 压到原来的四分之一,降低推理服务成本;Engram 参数约占总参数三分之一时是一个最佳平衡点,对应 U 形曲线的最低处(智东西)。
团队认为过度稀疏的 MoE 不利于推理:激活参数决定了计算预算,在总参数不变的前提下单纯减少激活参数,会明显损伤模型质量;这类架构在数据中心推理时会占用大量显存,却用不满 GPU 的算力(智东西)。
96GB 显存能跑 flash,llama.cpp 适配仍在推进
本地部署是问答里另一个被多次追问的方向。有人报出自己的配置——96GB 显存加 128GB 内存——问能不能跑 Hy4 flash。团队的回答是可以:主要权重放在显存里,一部分专家层和 Engram 模块卸载到系统内存,以此降低显存占用(21 世纪经济报道)。智东西的整理里,团队还确认会推出面向 24GB 显存设备的模型,也会继续开发适合 64GB~128GB 内存设备运行的版本。
生态适配方面,llama.cpp 的支持正在推进、即将向社区发布,混元同时表示已与 vLLM、SGLang 等推理框架社区深度合作(极客公园)。应用层,Hy4 和 Hy4 flash 已经可以在 OpenCode、Claude Code 和 Cline 等编程工具中直接使用(21 世纪经济报道)。
算力受限下的「尽可能充分地利用现有资源」
智东西在 AMA 中直接问:先进 AI 芯片的获取日益受限,混元最大的瓶颈是算力、训练效率还是算法,未来还能不能继续缩小与前沿模型的差距?团队的回答是「我们正在尽可能充分地利用现有资源,以追赶前沿水平」。
腾讯三季报显示,公司单季资本开支升至 814.33 亿元;管理层在业绩会上称,无论租赁还是自建算力都面临约束,模型训练不可避免会受到影响,短期内可能需要更长时间才能推出下一个版本的混元模型(新京报)。
对「让 Hy4 自主运行、通过递归自我改进(RSI)造出下一代模型」这个设想,团队的答案同样留有余地:RSI 能力仍处于早期阶段,已开发若干内部基准用于评估相关能力,但当前优先任务仍是打牢基础、提升模型智能,并与产品紧密协作优化体验(21 世纪经济报道)。
接下来能核验这张路线图的,是 Hy4-mini 与 Flash-Lite 何时发布、参数定在多少。