AREXOpen in interactive Feed

AREX Feed Article

NVIDIA 发布 Physis-Lang:为视频字幕加入物理推理,两个基于 Cosmos3 的配置占据 Physics-IQ 图生视频榜前两位

September 30, 2026

NVIDIA AI 的官方 X 账号在 UTC 时间 9 月 29 日 21:46(北京时间 9 月 30 日 5:46)宣布发布 Physis-Lang,把它描述为一个开放的自演化框架,作用是把物理推理加进视频字幕(video captioning):字幕不只写画面里发生了什么,还要解释场景为什么、以什么方式展开。按帖文说法,这些字幕既用于微调视频世界模型,也用于在生成视频时扩充提示。帖文末尾的「Paper and project」链接指向同时承载论文与项目信息的项目页。

帖文给出的最具体数字是:只改提示、不做重训练,Cosmos 3 的 PhyGenBench 分数提升 5.62 分。榜单侧的结果是:前两行都是标为 NVIDIA 来源的 Physis-Lang 配置,第一名 Physis-Lang (Cosmos3 Super) 48.2%±1.4,第二名 Physis-Lang (Cosmos3 Nano) 43.3%±1.5,两行记录的日期均为 2026 年 9 月 25 日;榜单把两行标为「NVIDIA · Open source」,输入类型为 i2v,并在 LLM 一栏标注 Yes。称,Super 版本比榜单此前的第一名 42.7% 高 5.5 个百分点,Nano 版本的平均分也超过了未加该框架的原版 Cosmos3-Super。

不做微调、只换提示:61.67 分与 67.29 分

Table 7 把提示拆开对比:不做微调、用基础字幕时 PhyGenBench 为 61.67 分;同样不做微调,但在提示里同时加入 physics_reasoning(物理推理字段)与 physics_negative_prompt(场景化负面提示)后为 67.29 分,两者相差 5.62 分。同一张表里,只加 physics_reasoning、不加负面提示的配置得 63.33 分,论文把它列为零样本增益,比基线高 1.66 分。论文署名作者来自 NVIDIA、MIT 与牛津大学。

Table 5 显示,61.67 这个基线分属于 Cosmos3 家族里 16B 的 Cosmos3-Nano;帖文所称的「Cosmos 3」是该系列的名字,同系列另有 4B 的 Cosmos3-Edge 与 64B 的 Cosmos3-Super。

第三名是没加这套框架的 Cosmos3 Super

Physis-Lang 两行之下,第三名是未加该框架的 Cosmos3 Super 42.7%±0.8(记录日期 9 月 4 日),第四名 Seedance 2.5 42.4%±0.8(9 月 28 日),第五名 MiniMax H3 39.8%±0.3。

分项表现并不一致:Spatial 分项里 Physis-Lang (Cosmos3 Super) 以 59.9±1.4 居首,但同属 Physis-Lang 的 Nano 配置在该分项只有 56.2±1.8,排在第五;Spatiotemporal 分项里 Super 配置以 41.6±3.1 第一,Nano 配置为 31.0±2.2,落在未加该框架的 Cosmos3 Super(32.5±1.0)之后。

字幕要写清成因、规律和结果

Physis-Lang 的字幕把物理过程拆成显式的几条来写。项目页举的例子是一块黄油融化:常规字幕写「黄油随温度升高而融化」;物理字幕分成三句——升温把热量传给黄油(成因)、热驱动融化而重力让黄油塌陷(规律)、固体缩小而浅液层扩大(结果)。论文把这套表示概括为实体、成因、相互作用、支配规律、时间演化与结果。

为了判断字幕写得好不好,论文构建了 PhysCapBench:246 段视频、3,794 条人工核对的原子断言,平均每段 15.4 条。评判分两路:precision(精确率)把候选字幕拆成可独立验证的原子命题,逐条对照视频判为正确、错误或不确定;recall(召回率)看人工断言有没有被字幕明确说出或蕴含;最后取两者的 F1(调和平均)。

演化循环固定 captioner(负责生成字幕的模型)的权重,只改提示:物理感知的 critic(评判器)给出诊断报告,演化 agent 据此改写字幕指引,指引再拿到 PhysCapBench 上验证,收益饱和就停。论文报告 F1 从第 1 轮的 78.64 升到第 9 轮的 87.82。下游效果被单独测过一次:保持预训练的 Cosmos3-Nano 不动,只把推理时字幕换成第 1、4、8、9 轮指引产出的版本,PhyGenBench 依次为 64.17、65.63、65.83、67.29。

先找出模型缺哪块物理,再去检索对应视频

除了改字幕,Physis-Lang 还用语言去找训练数据。管线先让一个基于 GPT-5.5 的诊断 agent 找出生成视频里的物理失败,并归入刚体运动、碰撞、流体等类别,汇总成模型的物理短板画像;再用这个画像去视频库里检索带对应物理标签的视频,重新配字幕后加入训练集。

论文的训练集共 18.3 万条真实视频:7.1 万条来自对 WISA-80K 的筛选,11.2 万条由这套检索管线补充。Table 6 报告,加入检索数据后四个基准平均提升 3.01 分,其中 PhyGenBench +2.92、Physics-IQ Verified +2.73、VideoPhy-2 +3.39。VideoPhy-2 的分类增益里,化学过程 +8.00、断裂力学 +7.45、布料形变 +7.19。

推理端还有两块:把短提示和可选的输入图像扩写成物理描述更细的长提示;以及为每个场景生成一段「物理上会怎样不合理地演化」的负面描述,作为负条件抑制不合物理的生成。Table 7 显示,微调之后再加负面提示,PhyGenBench 从 65.62 升到 68.12;在加入检索数据的一侧,从 66.88 升到 71.04。

论文还蒸馏出两个 4B 的视觉语言模型来替代商用模型:PhysThinker-C 做物理字幕,PhysThinker-U 做推理时的提示扩写。在 Wan2.1-14B 上,全用商用模型的一档平均提升 7.05 分,训练数据重配字幕与提示扩写的 API 开销约 2.41 万美元;换成 PhysThinker-C 加商用扩写,平均提升 6.76 分、开销约 120 美元;两个都换成本地模型,平均提升 4.76 分、外部开销为 0。

四项基准里三项高于 Veo 3.1,VideoPhy-2 全集低 0.85 分

论文把各基准统一缩放到百分制,并在 PhyGenBench 与 VideoPhy-2 上把原来的离线 VLM 评估器换成 GPT-5.5,论文称这在自己的比较里区分度更好。以微调后的 Cosmos3-Nano 计:PhyGenBench 71.04,高于基线的 61.67 与 Veo 3.1 的 65.63;Physics-IQ Verified 43.41(基线 40.23、Veo 3.1 34.99);PhyGround 69.90(基线 65.18、Veo 3.1 69.24);VideoPhy-2 全集 68.02、Hard 子集 62.36(Veo 3.1 为 68.87 与 58.43)。论文据此称,前三项超过 Veo 3.1,VideoPhy-2 全集低 0.85 分,Hard 子集高 3.93 分。

换用其他主干模型(backbone)也有增益,幅度不同:Wan2.1-14B 四项平均 +7.05 分,Cosmos3-Nano-16B +6.22 分,Cosmos3-Edge-4B +3.24 分,Cosmos3-Super-64B +5.02 分。项目页注明,平均增益为正,但个别基准的增益会有波动。

上述数字均出自 NVIDIA 自己的论文与项目页,基准缩放、评估器更换与各项对比由作者完成;Physics-IQ Verified 上的两行由该公开榜单按平均分排序。榜单顶部还留着一处重叠:Nano 版 Physis-Lang 的 43.3%±1.5 比 64B 的原版 Cosmos3 Super(42.7%±0.8)高 0.6 个百分点,两者的误差区间相互重叠。

参考链接