AREX Feed Article
Hao AI Lab 开源实时视频生成模型 FastH3-Omni，vLLM 称发布首日即支持消费级 RTX GPU
北京时间 10 月 21 日 8 时 35 分，vLLM 项目官方 X 账号 发帖宣布：「实时开源视频生成的速度还在往上走。FastH3-Omni 已经发布，权重与训练代码一并放出，vLLM-Omni 在 Day 0 就为其提供服务——包括消费级 RTX GPU。祝贺 @haoailab 团队！」此时在 FastH3-Omni 团队所在的加州，当地时间还是 10 月 20 日傍晚，仍处于发布首日之内。
发布本身可以从发布方材料得到印证：Hao AI Lab 是设在加州大学圣迭戈分校（UCSD）的实验室，其 写明使命是「让大型机器学习模型、算法及其底层系统平民化」。FastVideo 团队 10 月 13 日最终版 FastH3-Omni 将在 10 月 20 日「全量开源，附带训练代码，并完整支持 DGX Spark 与 RTX GPU」；10 月 20 日上线，同步放出 8 步 BF16 主模型、NVFP4/FP8 变体与 ComfyUI 用权重。vLLM 的帖文没有附模型规格、许可证、性能数据或仓库链接，「Day 0 适配」目前是 vLLM 一方的说法。
图片来源：，Dreamverse 演示的 Ref2VA（参考生成视频与音频）模式。
把 50 次前向压成 8 次
FastH3-Omni 的底座是 MiniMax H3。按 FastVideo 官方博客的描述，MiniMax H3 是一个开放权重的视频与同步音频联合生成模型，FastH3 Omni 是在它之上做参考引导生成的蒸馏版本：输入一段提示词，外加图片、视频片段与声音参考，直接产出一条带同步声音的成片。合作方 把输出概括为一次通过生成 5～15 秒、24 FPS、带同步音频的视频；其示例之一用一段 6 秒的山坡视频作参考——一名穿粉色西装的男子抱着一只黑色羊羔——生成 5 秒配乐成片。
图片来源：，展示的是参考输入而非模型输出。
写明了发布权重的输入输出契约：最多 9 张图片、3 段视频、3 段音频，合计不超过 12 个参考，且至少包含一张图片或一段视频；输出为 24 FPS、带 32 kHz 立体声的视频；采样固定为 8 次 transformer 评估，guidance 1.0。文本编码器、tokenizer 与视频/音频 VAE 沿用 MiniMax-H3 的原始组件。
提速来自两段蒸馏的组合。PDD（Parallel Decoding Distillation，并行解码蒸馏）把学生模型的输出头从单个速度预测拓宽成 32 个细时间格，推理时合并为 8 个融合块，一次前向推进 4 个区间，整条去噪轨迹从 Base 的 50 次前向压到 8 次；DMD（Distribution Matching Distillation，分布匹配蒸馏）在其上训练一个 critic（评判网络），按完整成片而非单步拉近学生与冻结教师之间的分布差距。参考图、参考视频与参考音频全程不加噪，只作为条件进入每一次前向；训练与采样都使用按 128 行分块的 Video Sparse Attention（视频稀疏注意力，VSA），服务时用的稀疏度就是训练时的稀疏度。博客将 PDD 归于 NVIDIA FastGen 团队，。这次训练的账单不小：64 块 NVIDIA B300、3,500 步、约 7,800 GPU 小时。
27 组对照负载：8 卡 GB200 上提速 5.6～11.9 倍
数字出自 FastVideo 自己的基准：8 块 GB200 上，9 种参考组合（单图、图加声音、3 图、9 图、单段短视频、单段长视频、3 段视频、图加视频加声音、9 图加 3 视频）乘以 3 种时长（5、10、15 秒），共 27 组工作负载，目标画布 1,344×768，计时从参考编码一直算到 MP4 交付。对照的 Base 是 50 步、采用 lossless（无损）数值策略的完整配方：FastH3 Omni 的端到端延迟降到其 1/5.6～1/11.9。区间两端分别对应——9 张图生成 5 秒，121.61 秒降到 21.59 秒（5.63 倍）；单段短视频参考生成 15 秒，140.29 秒降到 11.76 秒（11.93 倍）。Hao AI Lab 在里「NVIDIA Blackwell 上实时生成、快约 12 倍」的说法对应的正是这个测量上限。
基准的边界也写在明面上：这批数字只在 8 卡 GB200 上成立，本地设备配置各有自己的分辨率、显存与精度选择，「8 卡 GB200 的计时不描述它们的速度」。FastVideo 自家服务引擎 UniServe 在部分 FastH3 Omni 任务上，对 768p 的 5、10、15 秒片段达到实时生成；至于「实时」的定义，vLLM 在 9 月 1 日的 里给过口径——完整成片先于其播放时长返回，不等于流式出帧。那篇博客还记录了 vLLM-Omni 此前的结果：用四步版 FastH3 把 49 次前向换成 4 次，在 8 块 B300 上将 10.125 秒的完整 MP4 压到 8.678～8.710 秒生成。
消费级 RTX 的两条路径
vLLM 帖文新的信息在后半句：Day 0 服务，而且「包括消费级 RTX GPU」。这个口径目前来自 vLLM 一方；截至本文写作时， recipes/MiniMaxAI 目录的公开文件里，还没有以 FastH3-Omni 命名的配方。已经能核验的是两条路径。
其一，FastVideo 的本地配方：DGX Spark（GB10，128 GB 统一内存）与 RTX 5090（32 GB）走 NVFP4 QAD 权重——QAD 即量化感知蒸馏，权重为 Blackwell 的 NVFP4 执行专门训练；两种配置默认 480p，RTX 5090 需卸载文本编码器。没有 FP4 支持的显卡走 FP8 加 ComfyUI，RTX 4090 配方用分层卸载。Nuva Lab 的发布页称开源版可在 NVIDIA RTX GPU、DGX Spark 与 Apple Silicon（MLX）上运行；Hugging Face 集合里的 NVFP4 QAD 仓库标注为 14B。
其二，vLLM-Omni 面向 H3 系列的配方：RTX 5090/4090 双卡配置使用 cuDNN 注意力、不依赖 FlashAttention-4。RTX 5090 配方标注「目标硬件已验证」——基础 H3 的完整 50 步 T2VA（文生视频加音频）请求曾在 2×RTX 5090 上跑通 1,344×768、124 帧，客户端端到端 8 分 38 秒，单卡采样峰值约 22.6 GiB；2×RTX 4090 是容量起点配置，从 1,024×576 起步。显存压力写在配方里：每个 H3 检查点分区约 134 GiB BF16，双卡配方建议至少 200 GiB 系统内存、推荐 384 GiB。在这条链路里，FastH3-Omni 的蒸馏路径减去的正是占大头的去噪开销。
10 月 13 日预告，10 月 20 日如约开源
10 月 13 日（北京时间 14 日凌晨），FastVideo 团队宣布 FastH3-Omni，明确与 Nuva Lab 和 Reactor 合作完成后训练，承诺最终版将于 10 月 20 日全量开源，同日 Reactor 的 API 上线。10 月 19 日，团队 FastH3-QAD-v2 量化权重与新一代 NVFP4 VAE 解码器（36 层质量档、8 层快速档），并晒出在两台 DGX Spark 上生成的 768p 样片。10 月 20 日中午（加州时间），团队以「As promised（说到做到）」开头宣布开源，重申 Blackwell 上的实时生成成绩，并列出 Spark 与 RTX 的 NVFP4/FP8 权重、ComfyUI 的 Day 0 支持；随即由官方账号单独确认。经 Hao AI Lab 的另一条帖文显示，UniServe 也在同日宣布 Day 0 支持 FastH3 Omni。
合作分工在几家发布材料里一致：Nuva Lab 与 FastVideo 共同开发模型，定义并整理 omni（全模态）参考数据集；Reactor 提供额外的 B300 算力并运营 API；NVIDIA FastGen 团队贡献 PDD 方法与 DMD2 框架；NVIDIA Enterprise 产品团队提供 FastH3 使用的 VSA 内核。FastVideo 官方博客的致谢名单里本就有 vLLM 项目。评论区里，有直言「消费级 RTX 上的 Day 0 才是我关心的部分」，并追问 Omni 版是否会登陆 Apple Silicon；Nuva Lab 则在发布页把这次开源称作「内容生成的 DeepSeek R1 时刻」——这是合作方自己的判断。
权重开放、许可证有地域边界，消费级延迟数字还没给出
「开源」二字需要打个折扣来读。模型卡写明这批权重受 MiniMax-H3 Community License Agreement 约束；Nuva Lab 对该许可证的描述是，默认适用地域目前不包括美国、欧盟、英国与韩国，相关地区的部署方需向 MiniMax 另行寻求授权，并明确表示「open weight（开放权重）才是更准确的表述」——Apache-2.0 覆盖的是 FastVideo 训练与推理框架，不是权重本身。
双方公开材料里也还缺一个关键数字：FastH3-Omni 在消费级 RTX GPU 上的实测延迟。vLLM 的帖文只有定性口径，FastVideo 的 5.6～11.9 倍明确不覆盖本地配置。想在 RTX 5090 或 RTX 4090 上验证这条 Day 0 口径，眼下只能按 FastVideo 的本地配方或 vLLM-Omni 的 H3 系列配方自己实测。