Apple 在 Hugging Face 公开 FastFrames 视频扩散模型:官方称单卡 36 毫秒出一帧 480p
Apple 在 Hugging Face 的 apple 组织下公开了两个视频生成模型:FastFrames-S(1.3B)与 FastFrames-L(14B)。官方模型卡称二者均为自回归两步视频扩散模型,能在交互级延迟下生成 480p 视频。按模型卡给出的组件耗时表,FastFrames-S 在单张 GPU、480p、满 KV cache(键值缓存)条件下,两次扩散加 KV 精修与像素解码合计 35.4 毫秒(论文口径 36 毫秒),论文称这相当于单张 NVIDIA B200 上每秒 28 次响应(RPS)。配套的 FastFrames-S 模型页、训练代码、交互演示与项目页一并公开。
两个模型仓库创建于 2026 年 11 月 16 日 17:21(UTC,北京时间 17 日凌晨 1 时 21 分),最近更新在今天(11 月 18 日);论文 arXiv:2611.23226 于 11 月 17 日 18:59(UTC,北京时间 18 日凌晨 2 时 59 分)提交,署名 Gene Chou(亦为提交者)、Guandao Yang、Fujun Luan、Lars Mescheder、Wei Dong、Stephan R. Richter、Vladlen Koltun 七人。北京时间 11 月 18 日清晨,Victor Mustar(X 简介标注 Head of Product @ Hugging Face)与账号 @_akhaliq 先后在 X 上发帖,TedCai233 写道「苹果这次居然开源视频模型,有点意外」。
FastFrames 官方项目页海报:每组演示让同一模型在同时刻、同输入下运行官方实现(左)与 FastFrames 优化版(右),含 LingBot 键盘导航与 RealWonder 物理拖拽。图源:项目页
过半延迟藏在扩散模型之外
论文的出发点是一项 profiling(性能剖析)结果:研究团队测量了现有最先进自回归视频扩散模型的推理流程,发现 VAE(变分自编码器)解码、KV cache 更新这类常被当作固定实现细节的操作,实际占去端到端延迟的一半以上。FastFrames 的做法是用轻量替代品换掉它们——KV 精修网络(KV refinement)取代昂贵的 cache 写入,像素解码器(pixel decoder)取代 VAE 解码,扩散采样再做系统级优化。
效果有两组数字。项目页图 2 的 profile 条形图显示,单次自回归生成延迟从 271.8 毫秒降到 35.8 毫秒。GitHub 仓库则给出 FastFrames-S 单卡 480p 的组件级拆解:两次 DiT(扩散 Transformer)评估(t=1000 与 t=833)分别耗时 16.1 与 16.2 毫秒,KV 精修 2.2 毫秒,像素解码 0.9 毫秒,合计 35.4 毫秒。按这组数字复算,两次真正的扩散步合计 32.3 毫秒、占总耗时九成以上;在基线流程中占过半延迟的那两类操作,如今只剩 3.1 毫秒,不足总量的 9%。
两组官方对照:S 对 CF++,L 对 Krea-Realtime
FastFrames-S 是 1.3B 版本,单张 B200 上每帧 36 毫秒。项目页的对照对象是 Causal Forcing++(CF++,单卡 272 毫秒):官方称 FastFrames-S 在保持 CF++ 画质的同时快了近 8 倍。文生视频输出 832×480 分辨率、81 帧、16 fps,一段约 5 秒。
FastFrames-L 是 14B 版本,从 Wan2.1-14B 蒸馏而来(Hugging Face 元数据的 base_model 字段标明)。它在 8 卡 B200 节点上每帧 45 毫秒、每秒 22 次响应,单卡则为 158 毫秒。项目页的对照对象是 Krea-Realtime(单卡 1,675 毫秒):官方称 FastFrames-L 在真实感、提示词遵循、构图与文字渲染上与之相当,而快逾 10 倍(1,675 ÷ 158 ≈ 10.6)。
质量评估走 VBench。项目页图 1 的质量–延迟曲线把 50 毫秒以内的区域标为交互目标:官方称单卡的 FastFrames-S 与 8 卡的 FastFrames-L 都进入这一区间,质量得分与可比基线持平或更高。这些质量结论均出自 Apple 自己的论文与项目页;仓库附了复现论文表 1 中 Quality / Semantic / Total 得分的评估指南,第三方可以照着跑。
键盘进世界:LingBot 与 RealWonder 两个实时演示
项目页嵌了两对实时演示:一对是键盘导航的 LingBot 世界模型,另一对是支持基于物理拖拽的 RealWonder,每组都让同一模型在同时刻、同输入下分别跑官方实现与 FastFrames 优化版。
模型卡称 LingBot 这版 1.3B 优化比官方模型快 16 倍,并支持流畅的镜头条件控制;文档给出的 B200 实测是:单卡每 chunk(分块)中位延迟 220.7 毫秒,8 卡配置 50.5 毫秒。演示界面可选示例场景或上传一张横版图片,改提示词和随机种子(seed)后点「Start world」,用 WASD 移动、左右方向键平移视角,画面居中裁到 832×464、16 fps,浏览器按 50 fps 播放。每个世界持续 60 个 chunk、共 957 帧,同一时间一位访客操控、其余进入等待队列;首次启动需数分钟编译预热。实测显存峰值:单卡 44.8 GiB,8 卡模式每卡 41.3 GiB,文档提醒要留余量。
门槛写在安装文档里:Linux x86-64、NVIDIA GPU 与兼容 CUDA 12.8 的驱动,PyTorch 固定 2.9.1,8 卡还需带 NVSwitch(NVLink 多播互联)的单节点——官方环境清单里没有苹果芯片。论文的定位正是镜头条件与物理条件视频生成的实时交互,上面两类演示对应的就是这两种场景。
训练配方与中间权重全部公开,许可标为 apple-amlr
FastFrames-S 把 Causal Forcing++ 两步逐帧生成器整个冻结(权重下载指南注明该生成器是 Apache-2.0 许可的第三方权重),只训练外围的 kv_refiner 与 pixel_decoder 网络;FastFrames-L 则先按 Causal Forcing++ 配方把 Wan2.1-14B 蒸馏成两步因果模型,再照 S 的方式训练像素解码器与 KV 精修网络。
公开粒度深到中间阶段:FastFrames-L 的仓库放出四类中间权重——用 Wan2.1-14B 生成的潜变量(latents)训练的因果教师、一致性蒸馏模型、分布匹配蒸馏(DMD)模型,以及最终的生成器加像素解码器加 KV 精修网络。
许可分三部分。两个模型 README 元数据的 license 字段均为 apple-amlr(FastFrames-S、FastFrames-L);LingBot-World v2 的代码与权重沿用上游 CC BY-NC-SA 4.0;其余 FastFrames 代码采用 Apple Sample Code License。这份 apple-amlr 该怎么读,两个第三方账号口径不一:TedCai233 写「协议是苹果自己的 apple-amlr,商用要先看清楚」,ShenfuX 则写作「禁商用:权重 apple-amlr 限科研」。
X 上的回声:算硬件账和第一批实测
北京时间 11 月 18 日 6 时 24 分,Victor Mustar 发帖「Apple 刚把 FastFrames 放上 Hugging Face:『以交互级延迟生成视频』」,截至发稿获 911 赞、62,939 次浏览;6 时 49 分 @_akhaliq 跟进并附上两个模型链接,获 397 赞。中文、日文账号随后陆续跟进解读。
AIQuanting 的帖子把账算到了硬件上:14B 每帧只比 1.3B 慢 9 毫秒,但前者用 8 张 B200 对后者的 1 张,约合 360 GPU·毫秒对 36 GPU·毫秒——用约 10 倍的硬件时间换更好的画质。这是第三方解读,但数字与论文口径一致。
北京时间 11 月 18 日 14 时 17 分,u1tra_instinct 贴出社区跑分:经其称为 tensorfold 的自定义内核,FastFrames-S 生成 5 秒 480p 片段用时 5.7 秒(不用该内核 16.2 秒),FastFrames-L 用时 26.7 秒(不用则 70 秒),帖中未注明硬件。ShenfuX 的拆解则把实操门槛归拢成几句:官方代码目前只支持 Linux x86-64 加 NVIDIA 卡、1.3B 演示峰值显存高、暂无 ComfyUI 节点。
延迟数字均为官方自报,apple-amlr 条款待确认
目前公开的 35.4 与 36 毫秒均出自 Apple 自报:模型卡把那张耗时表标为「示例组件耗时」(Example component timings)。复现路径也随仓库给出——latency benchmark 脚本与 VBench 评估指南,照着跑即可对表。截至发稿,GitHub 仓库显示 14 stars、2 forks;模型页上 FastFrames-S 有 19 个赞、FastFrames-L 有 92 个,两个下载计数均为 0。
悬而未决的还有两件:第三方照同一口径跑出的延迟数字,以及 apple-amlr 的条款全文——后者未出现在模型卡或仓库 README 里,而商用与否正系于这条许可。
参考链接
- apple/FastFrames-L – Hugging Face
- apple/FastFrames-S – Hugging Face
- FastFrames-L README(原始文件,含 license 元数据)
- FastFrames-S README(原始文件,含 license 元数据)
- FastFrames: Video Generation at Interactive Latency – arXiv:2611.23226
- FastFrames 项目页
- apple-aiml-research/ml-fastframes – GitHub
- Installation and checkpoints – GitHub 文档
- FastFrames-LingBot – GitHub 文档
- LICENSE(Apple Sample Code License)– GitHub
- Victor Mustar 的 X 帖
- @_akhaliq 的 X 帖
- TedCai233 的 X 帖
- AIQuanting 的 X 帖
- u1tra_instinct 的 X 帖
- ShenfuX 的 X 帖_