AREX Feed Article
腾讯混元开源 Hy-Nomas：文本与相机轨迹自由交互的视频世界模型，官方支持单张 RTX 4090 推理
北京时间 10 月 24 日凌晨 1 时（UTC 10 月 23 日 17 时），腾讯混元官方 X 账号 @TencentHunyuan Hy-Nomas，一个「自由形式交互式视频世界生成模型」（free-form interactive video world model）：用户用文本提示词和相机轨迹，一段一段地操控同一个世界的生成。公告列出四项特性——文本提示词与相机轨迹的自由交互、带世界记忆（world memory）的长时程生成、面向机器人等专用领域的轻量 LoRA 适配、面向消费级 GPU 的推理优化——并邀请用户试用、随时反馈。
这些特性均属腾讯混元的单方发布口径，但随帖给出的四个链接在发稿前都能打开：代码以 Apache-2.0 许可托管在 ，权重已上架 ，与均已上线；模型页同时挂着配套基准 的数据集入口。其中「消费级 GPU」一项在仓库文档里落到了实处：官方提供单张 NVIDIA GeForce RTX 4090 的低显存推理配置，而默认的标准配置需要 8 张 GPU 做序列并行；模型卡写明默认输出 720×1280、24 FPS，每段视频用 8 步去噪生成。
（图片来源：）
从 3D 资产到视频世界：混元世界模型线的新分支
2025 年 7 月，混元开源 World Model 1.0，从文本或图像提示生成 3D 虚拟场景；同年 8 月推出 1.0-Lite，官方称显存需求比原版低约 35%、可在 17 GB 以内显存运行（）。2026 年 4 月 16 日，混元发布 技术报告并开源部分代码——一个多模态 3D 世界模型，输出网格（mesh）和 3DGS（三维高斯泼溅）资产，可直接导入游戏引擎；其 README 把视频世界模型列为对照路线，并指出其短板——生成的像素视频一般可玩时长约 1 分钟，跨视角一致性差。
Hy-Nomas 走的是视频路线：逐段生成视频画面而非 3D 资产，跨段连续性靠缓存机制维持。工件的时间线比官宣更早：Hugging Face 模型仓库创建于 10 月 21 日，基准数据集 10 月 22 日上架，GitHub 仓库最近更新停在 10 月 23 日。
一段一段续写世界，KV 缓存背着「世界记忆」
「世界记忆」的机制在模型卡里写得很具体：Hy-Nomas 采用分段自回归（segment-autoregressive）架构，每个视频段由片段级提示词或相机控制信号驱动，跨段一致性靠一条贯穿全程的持久键值（KV）缓存维持，标准配置保留全部生成历史。主干是 54 层双流 MMDiT（多模态扩散 Transformer），隐藏维度 2,048，16 个注意力头、每头 128 维；文本侧使用 Qwen2.5-VL-7B-Instruct 的语言模型组件，3,584 维隐状态经两层 token refiner 投影进 DiT 的 2,048 维空间；视频在 DCAE-V 潜空间中扩散——32 通道、空间各维 32 倍压缩、时间 4 倍压缩——模型预测流速度并以 Euler ODE 采样；蒸馏检查点支持 4/6/8 步去噪；画面还原交给 36 层、隐藏维度 4,096 的微调 PixelUMM 解码器。
（图片来源：）
用户怎么「续写」，仓库自带的示例提示词写得一目了然：第一段描述初始世界——风格、视角、主体和动作——后续每段用 description_change 字段描述世界如何演变。官方示例里，一只橙色狐狸站在发光森林的石径上，第二段要求「狐狸继续前行时，路边开出发光的蓝色花朵」。网页演示由 Nomas-PE 在线提示词增强服务先把用户指令转成结构化生成提示词；离线推理可以直接读准备好的提示词文件，不依赖这项服务。
相机轨迹进生成回路：从外参矩阵到 WASD 键位
相机轨迹在 Hy-Nomas 中从输入端就参与生成。模型卡写明：归一化的 4×4 相机外参矩阵按 4 帧一组展平成 64 维输入，经学习的位姿嵌入后，在每个双流块里通过相机交叉注意力（camera cross-attention）进入视频分支。轨迹文件是标准 npz 格式，包含相机到世界的变换矩阵 c2ws（形状 [N, 4, 4]）与内参（[N, 3, 3]），须与视频时长、帧率对齐，平移与旋转强度默认 1.0 和 2.5。
键盘运镜也进入了评测口径：Hy-Nomas-Bench 的相机导航基准用 w/a/s/d 和方向键模拟运镜指令，覆盖 49 个场景、8 个基本相机动作和 24 种两键组合，每个固定动作持续 2～4 秒，并配有等长的反向返回动作。
LoRA 轻量适配：官方先给出电影感与双臂机器人两款
两个官方 LoRA 适配器已挂在模型仓库：Cinematic LoRA 用电影感数据训练，合并进蒸馏 DiT 后提升生成世界的视觉质量；Robotics LoRA 在 真实机械臂数据集上训练，用于增强机器人仿真能力——这也是公告中「面向机器人等专用领域」的落点。
自训练流程是完整开放的：仓库提供 captioning-harness 标注流程，把本地视频逐段标注、用 DCAE-V 编码、打包成 Arrow/Parquet 训练文件；LoRA 从未蒸馏的基础自回归检查点出发做 segment forcing 训练，配置为 rank/alpha 256、Muon 优化器、恒定学习率 1e-4、2,000 步，只训练 LoRA 参数，训完导出并合并回蒸馏检查点用于推理。仓库示例按 128 张 GPU（DP16×SP8）构建序列打包方案——个人用户要复用这套微调流程，硬件门槛并不低。
仓库注明了一个限制：INT8 加载器不支持在推理时单独挂载 LoRA 适配器，走单卡量化配置的用户需要先把适配器合并进权重。
INT8 权重、滑窗历史与 CPU offload：单卡省显存的四招与代价
单卡方案用四招压低显存占用，替代标准配置的多卡序列并行：DiT 权重与 KV 缓存以 INT8 存储（线性层与注意力计算仍为 BF16）；GPU 上最多保留 18 个历史潜变量帧参与注意力，更早的历史归档到 CPU；文本编码器、DiT 和解码器按处理阶段在 CPU 与 GPU 之间搬运（CPU offload）；注意力与解码分别换用 FlexAttention 和 CUTLASS FP8 内核。环境方面，官方提供预装 CUDA 13.0、PyTorch 2.10.0 与 FlashAttention 2/3、MagiAttention 内核的 Docker 镜像。
官方文档同时注明了代价：CPU offload 需要足够的系统内存，并增加 CPU–GPU 传输延迟；峰值显存取决于分辨率和段长。单卡上的「世界记忆」因此是一个有限窗口加 CPU 归档的组合——完整历史仍在，但不全在显存里。
280 个测试用例已就位，成绩单还没发
随模型发布的 Hy-Nomas-Bench 用四个基准覆盖 280 个测试用例、220 条参考相机轨迹：多轮文本控制 60 例（2～6 轮，平均时长 37.88 秒）、相机导航 100 例（4～20 轮，平均 27.05 秒）、文本与相机交错控制 60 例（2～7 轮，平均 30.59 秒）、空间记忆 60 例（8 轮，平均 18.00 秒，围绕一个显著静止目标做四组去程/返程，检验重访时物体和场景是否对得上）。请求时长 8～86 秒，场景覆盖现实、游戏、CG 和动画环境，提示词以英文为主，Bench-1 中有少量中文和混合语言用例。
数据集只含结构化提示词、交互序列、键盘时间线和参考轨迹，页面明确注明不含视频与评测分数；技术报告在 GitHub 和模型卡上都标注「即将发布」。截至 10 月 24 日发稿，GitHub 仓库显示 16 个 star，Hugging Face 模型页 15 个赞。Hy-Nomas 在这四个基准上究竟表现如何，目前只能等官方技术报告发布或第三方复现来回答。