AREX Feed Article
MBZUAI IFM 发布并开源 PAN 2 世界模型：LLM 写时间轴状态，29B MMDiT 渲染最长 20 秒视频
穆罕默德·本·扎耶德人工智能大学（MBZUAI）基础模型研究所（Institute of Foundation Models，IFM）于 2026 年 11 月 10 日在发布 PAN 2，定位为面向物理智能（physical intelligence）的基础世界模型。输入一张可选的首帧图像、一段文字观测和一条动作指令，模型输出一段模拟视频，呈现世界如何因这个动作而改变；单段最长 20 秒、分辨率 704×1248、24 fps，支持文生视频与图生视频两种模式。权重、训练代码与推理代码均以 Apache 2.0 发布，模型卡已上线 ，训练与推理代码在 ，可在 vLLM、HF Diffusers 或 FastVideo 中运行。
IFM 自报的成绩是：在其 6D-PI（六维物理智能）多步计划评测中，PAN 2 完成 34.0% 的全计划，在六个受测模型中最高，领先 MiniMax-H3 的 32.5%；单步完成率 75.1%，与 MiniMax-H3 基本持平。这些数字均未经独立核实；IFM 同时在模型卡里写明，约三分之二的模拟计划至少有一步没有执行。
概念骨干写状态，感知骨干补细节
PAN 2 沿用 IFM 在《Critique of World Models》中形式化的 GLP（Generative Latent Prediction，生成式潜变量预测）架构，把「预测下一个观测」拆成编码器、骨干、解码器三段（见 ）。编码器走两条路：预训练视觉语言模型抓取当前画面的语义内容，VAE 编码器把感知细节保留为视频潜变量。
预测分两步完成。概念推理骨干是一个 LLM，技术报告默认使用 Kimi K3：它读入观测和动作指令，写出下一个世界状态的结构化描述，谁在何时行动、物体状态如何变化、镜头如何运动，每件事都带时间戳。感知推理骨干是 29B 参数的 MMDiT（多模态扩散 Transformer）实现的潜变量扩散模型（LDM），模型卡写明它在数亿条以同样格式标注的视频上从零训练，根据文本状态和可选首帧潜变量预测视频潜变量；条件由冻结的 Qwen3.5-9B 文本编码器提供，最后由 Wan 2.2 VAE 解码成帧。前作 PAN 于 2025 年 11 月发布（见 ）。
IFM 还用消融检验概念骨干是否只在改写提示词：固定 LDM 不动，把概念推理分别设为无、仅格式化、完整推理三档。无推理时，单动作六维得分从 84.6 跌到 45.1，全计划完成率从 34.0% 归零；仅格式化能收回大部分单动作差距（78.2），全计划却只回到 27.8%。IFM 的结论是，多步模拟主要靠概念推理的深度，而不只是输入格式。博客同节还比较了状态描述的写法：结构化 JSON 状态描述（caption）每条视频平均携带 49.43 个不同陈述，在三种写法中细节最密，留出集验证损失也最低（0.383243，对照两种纯文本写法的 0.385521 与 0.386267）。
六维评测怎么判分，六模型差距在哪
6D-PI 把「模拟得好不好」拆成六个维度：物理一致性、因果连贯、实体持续性、约束满足、视角不变性、客观动态性，分别检验模拟是否服从物理定律、按顺序执行动作、保住实体及其状态、尊重动作前提、镜头移动时世界不变、以及世界在智能体之外仍自行运转。IFM 自建了 300 个单动作测试用例（201 个图生视频、99 个文生视频）和 100 个多步任务：第一人称日常任务，3～6 步，20 秒内一次生成，共 456 步。判定由视觉语言模型（VLM）判官回答是/否问题，镜头运动另由几何估计模型 VGGT-Ω 从估计几何校验；多步评测里，每个肯定判定还要连过 5 次怀疑式复核，成绩取 3 个种子的均值，闭源模型单种子（以上设置见 IFM 与）。
IFM 公布的六模型对比（步骤完成率 / 全计划完成率，单位 %）：
| 模型 | 类型 | 步骤完成率 | 全计划完成率 |
|---|---|---|---|
| MiniMax-H3 | 开放 | 75.1 | 32.5 |
| PAN 2 | 开放 | 75.1 | 34.0 |
| FLUX 3 | 闭源 | 72.4 | 26.8 |
| Seedance 2.5 | 闭源 | 69.0 | 24.5 |
| Cosmos 3 Super | 开放 | 47.7 | 9.5 |
| LTX-2.5 | 开放 | 38.5 | 4.0 |
六个模型落在同一条复合曲线上（R² = 0.986）：步骤越可靠，全计划完成率涨得越快。按 IFM 拟合的曲线，把步骤完成率从 75% 提到 90%，全计划完成率大约翻倍，从三分之一到三分之二；IFM 称今天的领先世界模型正处在这条曲线转陡的位置。
公开基准上，IFM 给出的口径是：Physics-IQ Verified 公开榜单设置下得 49.38，开放模型第一、总体第三（MarkTechPost 汇总的模型卡数据中，闭源 FLUX 3 为 51.11）；RBench 得 57.04，高于 MiniMax-H3 的 56.16。各基准的概念骨干并不相同：Physics-IQ 提交用 Claude Opus 5.5，RBench 与人类盲测用 GPT-6 Astra。人类盲测共 140 条提示、13 名评审、1,400 次两两比较，PAN 2 居四个开放模型第二，次于 MiniMax-H3（Elo 1595 对 1620）。博客脚注并注明，闭源模型的成绩剔除了被拦截或未返回的视频。
数据、奖励与优化器：三处工程取舍
数据端，IFM 按 12 个大主题、149 个子主题组织训练素材，但在最早训练阶段之后剔除游戏、动画、CG 渲染和仿真视频，剩下 11 个大主题、138 个子主题，再细分为 1,988 个聚类家族。两个 9B 对照模型各训 40,000 步：剔除合成内容的版本在动作遵循、物理与世界一致性的盲测中赢得 58% 的投票（Elo 1528 对 1472）。
奖励端，流匹配（flow matching）训练之后仍有训练目标罚不到的错误，比如物体中途消失、手穿过杯子。IFM 用冻结的 VisionReward 对生成视频回答 13 个问题来计算奖励，做了 600 步基于奖励的学习：因果连贯涨 8.5 个点（78.8 → 87.3），全计划完成率涨近 4 个点（28.2% → 31.8%），尽管奖励从不给事件排序打分；代价是视角不变性降 3.0、物理一致性降 2.5，在这两项上奖励几乎没有信号。最终模型取奖励训练前后两个检查点的加权平均（model soups），以保留收益、缓解奖励投机（reward hacking）。
优化器端，训练 29B 主干用的是混合优化器 per-head Muon：注意力 Q/K/V 权重按头切块，各做 5 步 Newton–Schulz 迭代再拼回，注意力输出与前馈网络（FFN）权重用矩阵级 Muon，其余参数交给 AdamW。在 185M～756M 三档消融中，per-head Muon 都以更低算力达到同等验证损失，节省 65%～71% 的计算量（FLOPs）。
智能体试了六次，才从管里取出球
IFM 把这项工作框成「模拟式推理」（simulative reasoning）：智能体行动前，把候选方案逐个交给 PAN 2 模拟，比较结果再挑一个执行。博客给出两个智能体案例。
第一个是折纸飞机：从一张纸的照片开始，人每次只给一条折叠指令，每段模拟的最后一帧作为下一段的起始图，五步之后纸变成了飞机。难折的几步靠人工润色指令措辞，劣化的起始帧也做了修复。
更能说明问题的是第二个案例。一根透明圆管两端各封着一个盖子：蓝盖能打开，红盖被胶死；胶水在起始图里看不见，只写进给 PAN 2 的文本状态，智能体无从得知。一个基于 Kimi K3 的 LLM 智能体（与 PAN 2 相互独立）被要求取出管中的球，每次提出短计划、看 5 秒模拟片段、再复盘重试，流程类似 Reflexion。它第 1 次拔红盖，第 2 次拧红盖后误判「盖子已开」，接下来三次全在红盖一端打转：倒过来摇晃、边拧边捏、再拔再摇。第 6 次它转向蓝盖，球出来了。这个属性从头到尾没进过智能体的视野，它是靠模拟交互试出来的。
护栏、许可范围与写明的未解难题
模型卡说明，29B 感知骨干以单一检查点释出（BF16）；冻结的 Qwen3.5-9B 文本编码器与 Wan 2.2 VAE 从各自仓库取用、沿用原许可，Apache 2.0 只覆盖 IFM 自有的代码与权重。默认采样 50 步、flow shift 9、引导系数 2.5，片段默认 241 帧（约 10 秒）、最长 481 帧（20 秒）。提示词需先经概念推理器改写成结构化 caption，软上限 1,480、硬上限 1,536 词元（token），官方为 Codex 和 Claude Code 准备了配套的改写技能（skill）。IFM 还强烈建议搭配单独发布的 ，前置 Qwen3Guard-Gen-4B 筛请求、后置 Q16 分类器筛帧：其内部评测中，有害文生视频请求产生不安全画面的比例从 33.9% 降到 1.5%，代价是拦下 11.5% 的正常请求。
模型卡的局限一节还写明：每段模拟至多从一个起始帧加文本出发，长交互中外观会漂移，需要与文本状态并行的感知记忆才能解决；文字动作对「打开抽屉」够用，对「每根手指落在哪」这类灵巧操作只够粗略描述；模型还可能抄近路——面还没沥水，漏勺里已经出现了面。
博客把下一步也交代了：在智能体能于模拟中规模化训练之前，还差两件事——一个能随智能体探索而生长并保持一致的世界，以及跨模拟回合积累经验、把学到的东西带回物理世界的训练。前一件是 IFM 预告的下一篇博客的主题。