AREX Feed Article
vLLM-Omni 为开放权重世界模型 PAN 2 提供 Day-0 支持：文生视频与图生视频经开放推理栈上线
北京时间 2026 年 11 月 11 日凌晨（UTC 时间 11 月 10 日 17 时许），宣布：vLLM-Omni 为世界模型 PAN 2 带来 Day-0 支持，PAN 2 的文生视频（text-to-video）与图生视频（image-to-video）生成经开放推理栈（open inference stack）即可使用。帖文同时向 PAN 2 团队道贺，并这样描述这个模型：一个面向真实世界模拟（real-world simulation）的开放权重（open-weight）世界模型，立足于时间、物理与空间，预测场景随动作展开的演化。
帖文本身没有给出 PAN 2 的研发机构、参数规模、权重位置和性能数据。这些空白可以由官方材料补齐：已列入 PAN 2（注册名 PAN2ModularPipeline，任务标注 T2V 与 I2V），并附有从启动命令到多卡并行参数的；权重则以 IFM/PAN2 之名发布在 Hugging Face——29.2B（约 292 亿）参数，开发方为穆罕默德·本·扎耶德人工智能大学（MBZUAI）基础模型研究所（Institute of Foundation Models，IFM），代码与权重采用 Apache 2.0 协议（见 ）。
一条 vllm serve 命令，同时服务文生视频与图生视频
这份 recipe 给出的单卡启动命令只有一行：vllm serve IFM/PAN2 --omni --port 8000，在一张显存不少于 141 GB 的 GPU（H200、B200 或 B300）上即可拉起服务。同一个服务处理两种任务：请求带首帧图片走 I2V，不带就走 T2V。对外暴露 OpenAI 兼容的 /v1/videos 接口（同步 /v1/videos/sync 或异步），以 video/mp4 返回结果；也可以用离线 Omni.generate 和仓库自带的脚本直接生成。
按 recipe 中的服务契约，默认输出 704×1248、313 帧（约 13 秒）、24 fps，最长 481 帧（20 秒）。宽高须为 32 的倍数，帧数须为 4k+1 形式（整秒时长乘 24 加 1），采样默认 50 步、CFG 2.5（classifier-free guidance，无分类器引导），使用 PAN 2 自己的 flow-matching（流匹配）调度。尺寸不合规、帧数不合规、附多张图、提交视频输入、自定义 sigmas 或 timesteps 的请求，在到达 GPU 之前就会被 HTTP 400 拒绝。
支持列表的硬件栏目前只在 NVIDIA GPU 一列打勾，AMD GPU、Ascend NPU 与 Intel GPU 均为空白。除了 vLLM-Omni，模型卡注明 PAN 2 也已支持 Diffusers 管线，权重按 diffusers 布局（PAN2Transformer3DModel）发布。
语言模型写“世界状态”，29B 双流扩散模型把它画成视频
模型卡对 PAN 2 的定位是：给定当前观测（可选一张图加文本）与文本描述的动作，模拟出相应的结果视频，用于“模拟式推理”（simulative reasoning）——智能体先用 PAN 2 把各候选方案模拟一遍，再执行模拟结果最好的那个。
架构上，模型卡说明 PAN 2 沿用中形式化的 GLP（Generative Latent Prediction，生成式潜变量预测）架构，把概念推理交给语言模型、感知推理交给潜变量扩散模型：语言模型把观测与请求的动作写成带时间轴的结构化“世界状态”——事件、绑定到执行者的定时动作、镜头运动；冻结的文本编码器 Qwen3.5-9B 把这段描述映射为条件特征；29.2B 参数的 MMDiT（多模态扩散 Transformer）在该条件与首帧 VAE（变分自编码器）潜变量下预测视频潜变量，再由 Wan 2.2 VAE 解码器渲染成画面。模型卡称这份扩散骨干是在数亿条按同一格式标注的视频上从零训练的。
的 Model 表补充了结构细节：44 个双流（视频流加状态流）联合注意力块，hidden size 4,096、32 个注意力头、3-D RoPE（三维旋转位置编码）；I2V 通过通道拼接做条件（48 噪声加 48 条件加 1 掩码，共 97 个输入通道），所以一个模型同时服务两个任务。训练分三阶段：480p 预训练、720p 续训、720p SFT（监督微调）；产生发布权重的奖励学习与模型 soup（多模型权重合并）只在技术报告中描述，未包含在开源训练代码里。
recipe 对机制的概括更直白：提示词被编码进连续状态流，状态流与视频流各带自己的投影和前馈网络，每一层经自注意力汇合——计划引导视频去噪，逐渐成形的视频又反过来精修状态。
PAN 这个名字之前已经出现在两份文献里。2025 年 11 月 12 日上 把自己定位为通用、可交互、长时程的世界模型，用基于 LLM 的自回归潜变量动态骨干加视频扩散解码器实现 GLP；2025 年 7 月 7 日的《Critiques of World Models》提出了 PAN（Physical, Agentic, Nested，物理、智能体、嵌套）框架，第一作者 Eric Xing 的署名单位为 MBZUAI 基础模型研究所。
提示词必须压成一行 JSON，护栏单独安装
recipe 对提示词有一条硬性约束：PAN 2 在结构化的 caption（描述文本）上训练，提示词必须是该 caption 序列化成的紧凑单行 JSON，“普通的单行提示词会产出不可用的视频”。caption 覆盖风格、光照、镜头、主体、首帧描述与事件时间轴，负向提示词同格式；每条 caption 有 token 预算，软上限 1,480、硬上限 1,536。
自由文本要先经“概念推理器”改写成这种格式。官方给出两条路：一个可装入 Codex / Claude Code 的 agent skill（智能体技能，自带 caption 策略、固定负向提示词与 token 校验），或用本地指令模型跑离线改写脚本。模型卡列出技术报告评估过的四个推理器，按全计划完成率排序为 Claude Opus 5.5、GPT-6 Astra（medium effort）、Kimi K3、Qwen 3.8 Flash；除个别说明外，报告的研究统一使用 Kimi K3。
护栏不在默认安装内：需单独安装 pan2-guardrail 包，生成前用 Qwen3Guard-Gen-4B 筛提示词、生成后用 Q16 帧分类器筛视频，触发拦截的请求会收到 HTTP 400。模型卡的内部评估（Kimi K3 为概念推理器）给出的数字是：有害 T2V 请求产出不安全视频的比例从 33.9% 降到 1.5%，未观察到不安全的 I2V 输出；代价是 11.5% 的良性 T2V 请求与 3.3% 的良性 I2V 请求被一并拦下。
vLLM-Omni 的服务还支持按请求切换 Cache-DiT 档位：quality=lossless 走参考路径，quality=high 约快 1.3 倍，实际取决于提示词与并行配置。
单卡 H200 起步：107.4 GiB 峰值与更小显存的卸载方案
recipe 的硬件档位按最长的 481 帧输出测算，峰值为单卡显存占用：显存不少于 141 GB 的 H200、B200、B300 单卡即可，峰值 107.4 GiB；4 卡（--cfg-parallel-size 2 --usp 2）110.7 GiB，8 卡（--cfg-parallel-size 2 --usp 4）110.4 GiB。
96 GB 的 RTX PRO 6000 要开分布式分层卸载：DiT 块驻留锁页主机内存、每步流入 GPU，前 48 个块常驻显存，峰值降到 84.4 GiB。被卸载的权重放在锁页系统内存里，每条 CFG 并行分支各占一份，这类配置因此要求大容量内存。80 GB 的 H100 与 48 GB 的 L40S 也各有专门 recipe。
把管线拆成阶段图：vLLM-Omni 的服务方式
vLLM-Omni 本身是一个有论文、有开源仓库的服务系统。按其 （2026 年 2 月 2 日发布），它是面向 any-to-any（任意模态到任意模态）多模态模型的全拆分（disaggregated）服务系统：把复杂管线拆成阶段图，每个阶段由 LLM 或扩散引擎独立服务，按阶段做请求批处理、灵活分配 GPU，阶段间用统一连接器传数据；论文报告其最高能把作业完成时间（JCT）较基线降低 91.4%，。vLLM 项目在 X 账号简介里对自己的介绍是“面向大模型的高吞吐、省显存推理与服务引擎”。
PAN 2 接入的正是这套系统。截至发稿，支持列表、部署 recipe 与 IFM/PAN2 权重均在线可查。
自评成绩单的另一面：约三分之二的计划至少漏一步
文中引用的 PAN 2 性能数字均来自 IFM 自己的技术报告与模型卡。GitHub 仓库结果页注明：以下为 PAN 2 以 Kimi K3 作为概念推理器的自评结果。
六项能力评估（300 个单动作测试用例，其中 201 个 I2V、99 个 T2V）里，PAN 2 总分 84.48，低于同为开放权重的 MiniMax-H3 的 87.20；图中加粗标注开源权重组最优，六项能力各列的最优值几乎都归 MiniMax-H3。多步计划评估（100 个第一视角日常任务、200 条提示词、456 步）里，PAN 2 的全计划完成率 34.00% 高于 MiniMax-H3 的 32.50%，单步完成率 75.10 对 75.12 基本持平。
公开基准（模型卡口径）：Physics-IQ Verified（I2V，排行榜设定）PAN 2 得 49.38，高于开放权重组其余对手；PhyGround 4.74（5 分制）与 RBench 57.04 也是开放权重组最高；但在“系统默认设定”一列，MiniMax-H3 的 42.91 高于 PAN 2 的 37.48。
模型卡同时列出局限：约三分之二的模拟计划至少有一步没有执行；提示词措辞敏感；每次模拟至多一个起始帧加文本，长交互中画面外观会漂移；文本对灵巧动作只能粗描；模型可能走物理捷径——比如意面还没沥水就出现在滤锅里。关于其中的外观漂移，模型卡写明需要一项与文本状态并行维护的感知记忆——它不在这次发布的权重之列。