AREXOpen in interactive Feed

AREX Feed Article

智源研究院联合逆矩阵、北大、清华、北航发布悟界·PhysCapBench:覆盖 1,500 段视频的「物理数据量尺」

November 18, 2026

智源研究院(BAAI)11 月 18 日在智源社区发文,宣布联合逆矩阵(Physis)、北京大学、清华大学与北京航空航天大学推出悟界·PhysCapBench,文中称其为首个统一评测视频描述物理信息的跨领域基准,覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,对应论文题目中的 physically grounded video captioning(物理合理视频描述)。基准收录 1,500 段视频序列,每个领域各 500 段,按事件覆盖、对象与角色、动作与运动、接触与交互、状态与结果、机制与因果、时间顺序七个维度给视频描述(Caption)打分,参考描述由七名专业标注人员构建。配套的 arXiv 论文(2611.16424)已于 11 月 12 日公开。

文章同时报告两组下游结果,均为发布方自报口径:把物理描述用作视频生成条件后,两个生成模型在第一人称操作领域的 LPIPS 最高相对下降 30.88%、PVCS 最高相对下降 28.09%;在 RoboTwin 2.0 一个子任务的受控实验中,对一半训练样本启用增强指令后,策略模型 π0.5 在 40 个共享测试初始场景的成功次数从 15 提至 18,成功率由 37.5% 升至 45.0%。基准网站、GitHub 代码与 Hugging Face 数据集随文公开。

三类互补数据各覆盖什么物理经验

文章的出发点是世界模型预训练数据建设中的观察:面对不同来源的视频,现有 Caption「往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系」;这一缺口不只存在于原始数据的简短说明,也可能出现在更长、更流畅的自动生成描述里。「语言表达的完整,并不等于物理信息的完整。」基准要度量的,就是描述对物理信息的覆盖与保真。

三类领域从不同视角呈现物理过程,各自覆盖不同的物理经验:第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范记录夹爪与物体的交互、操作阶段及执行结果。多视角示范中,同一次交互过程按一段序列组织。据 GitHub 仓库,这批视频合计 7.43 GB、9.16 小时;手持夹爪领域的每段样本由左腕、高位、右腕三个视角的画面合成为一段视频。

评价维度关注的问题
事件覆盖是否覆盖主要事件与关键阶段
对象与角色是否准确识别交互对象及其作用
动作与运动是否描述关键动作、运动方式及其变化
接触与交互是否表达接触关系与交互过程
状态与结果是否保留关键状态变化及事件结果
机制与因果是否依据视频证据表达物理机制与因果关系
时间顺序是否准确组织事件顺序与阶段转换

参考描述以视频证据为准,计分协议随代码公开

文章对高质量物理描述的要求是两条同时成立:信息覆盖与证据一致性,既保留关键变化,也确保描述能在视频中得到支持。标注流程从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容核验,七名专业标注人员参与标注与质量检查;机制与因果信息以可观察证据为基础,复杂操作重点核对阶段划分、交互关系与结果状态是否一致。

评分由一套固定协议完成:待评 Caption 由文本裁判模型按七个维度各打 0~100 的整数分,单条视频取七维等权平均,基准总分再对全部视频等权平均。默认裁判模型为 doubao-seed-2-1-pro-260628,经 Ark 端点的 OpenAI 兼容接口调用,更换裁判模型或端点须在结果中注明。参考证据不足的维度额外给出 0~1 的置信值,本次发布共涉及 46 条序列的 48 个维度格,这类维度按约定回退 50 分,不改变计分权重,也不构成第八个维度。参考描述的语言随领域不同:第三人称领域为英文,第一人称领域含双语字段,手持夹爪领域保留源语言字段。

用作生成条件:软胶玩具案例与两个生成模型的对比

视频生成实验把描述当成条件来检验:固定生成模型、首帧与生成时长,分别用原始数据描述和物理描述生成视频,再比较生成结果与真实视频的感知差异,指标取 LPIPS 与 PVCS,数值均越低越好。文章举的软胶玩具例子把这种差距具体化:玩具被压扁后随压力解除逐渐恢复形状,用物理描述生成的结果保留了立体形态与卸载后的恢复趋势;用原始描述生成时,玩具在压力解除后仍呈明显的扁平状态。

文章配图的图例显示,两个生成模型为 H3 与 LingBot-World 2.0:第三人称领域,LPIPS 相对下降 8.61%~9.51%,PVCS 下降 8.90%~9.00%;第一人称操作领域,H3 的 LPIPS 从 0.4362 降到 0.3015,相对下降 30.88%,LingBot-World 2.0 的 PVCS 从 2.3986 降到 1.7248,相对下降 28.09%。论文摘要口径与此一致:相对元数据描述,物理描述在第三人称视频上把重建 LPIPS 降低 8.6%~9.5%,在第一人称视频上降低 26.9%~30.9%。配图中的指标对比也只包含第三人称与第一人称两个领域。

增强指令进训练:从碗堆叠示例到受控实验

机器人策略实验改从训练指令入手。文章介绍了一个 Training Instruction Upsampler:在原始任务指令基础上,补充视频中可观察的动作过程、接触关系与状态变化,为策略学习提供更完整的语言监督;增强指令只用于训练阶段,推理时仍使用原始简短指令。

RoboDojo 的接触与放置示例说明了要补的是哪些信息:失败轨迹在操作与放置过程中使碗倾斜、翻倒,未形成稳定堆叠;成功轨迹完成三只碗的堆叠。物体是否随夹爪稳定运动、接触后是否倾斜、释放后是否形成稳定支撑,都是文章所说「比任务目标更充分的过程监督」需要覆盖的内容。

受控实验设在 RoboTwin 2.0 的一个子任务上:同样的 50 条示范,只对其中一半训练样本换用增强指令。文章另称,在 RoboTwin 与 RoboDojo 的多任务评估中,四种策略模型的所选任务平均成功率均有所提升。

榜单仍是「报告版」口径,手持夹爪领域结果未随发布公布

随文链接的资源包括基准网站、MIT 许可的 GitHub 评测流水线、Hugging Face 数据集与论文。数据集页显示 11 月 3 日更新、近 30 天 265 次下载;论文署名 15 位作者,机构标注覆盖 BAAI、北京大学、清华大学、北航与 Physis 五方。数据授权按来源处理:第三人称片段为贡献者授权分发,EgoDex 素材按上游 CC BY-NC-ND 条款,腾讯来源素材按 CC BY 4.0;基准自建的标注文本按 CC BY 4.0 开放,但不重新授权底层素材。

描述策略榜单目前是「报告版」:GitHub 说明,已公布的评测子集、参考描述与维度聚合方式均与本次 1,500 段全七维计分的发布版不同,这些分数并非发布协议下的重跑结果,不能跨口径比较。当前榜单里,第三人称领域综合最高分为 LingBot Temporal 的 72.91,第一人称领域最高分为 Physis 的 79.36,智源文章在图注中注明 Physis 为内部测试;手持夹爪领域的榜单结果在该快照中尚未报告。

发布方把 PhysCapBench 定位为世界模型预训练的可复用数据与评测基础设施,文章标题称之为世界模型的「物理数据量尺」。生成评测与描述策略榜单目前都只报告第三人称与第一人称领域的结果,手持夹爪领域的榜单结果在 GitHub 快照中尚未出现。

参考链接

  • 智源社区:智源悟界·PhysCapBench:首个跨领域的世界模型“物理数据量尺”
  • arXiv:PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning(2611.16424)
  • GitHub:hfwang2001/PhysCapBench
  • Hugging Face:hfwang01/PhysCapBench
  • PhysCapBench 基准网站