AREX Feed Article
NTT 发布让机器人先预测后行动的物理 AI 技术:自报货架堆放成功率从 73.1% 升至 92.3%
2026 年 11 月 11 日,NTT, Inc. 在东京发布一套面向机器人的物理 AI(physical AI)技术:机器人在真正移动之前,先对控制程序给出的多个候选动作逐一推演结果,评估载荷倒塌、物品掉落等失败情形的概率,再执行预计能成功的动作。据 ,这套技术的核心是一个把 NTT 自研 physics control adapter 整合进视频生成模型的世界模型,显式处理物体的位置、朝向、速度、质量等物理量,并依据运动方程预测状态变化。
在一项用小型机器人模拟物品堆放的货架装载任务中,NTT 自报采用该技术后,任务成功率从 73.1% 升至 92.3%,上升 19.2 个百分点。这套技术的首个设想应用是形状和重量各异的机场行李自动装卸:NTT 计划与 Mujin, Inc. 推进实地验证,并计划在 11 月举行的 上展出。截至发布,成功率与应用规划均来自 NTT 单方口径。
机器人在动手前,先把每个候选动作「预演」一遍
NTT 把这套技术定位为现有机器人控制软件决策的补充。按新闻稿说明,候选动作可以来自 VLA(Vision-Language-Action,视觉-语言-动作)模型——这类基础模型以相机视频和语言指令为输入、直接输出机器人动作——也可以来自 motion planner(运动规划器),即根据任务目标和周围环境信息计算机器人控制量的程序。对每一个候选动作,世界模型基于候选动作和相机、传感器信息生成一段「未来视频」,预测物体掉落、碰撞、载荷倒塌等结果并给出评分,机器人据此挑出成功概率高的那一个。新闻稿称,模型在设计上以保持精度为前提高速运行,以便直接嵌入机器人控制流程。
新闻稿配图展示了这个筛选过程:同一场景下,候选动作 A 的预测结果是载荷倒塌,候选 B 会掉落物品,候选 C 保持稳定,系统选择最后一个。
动机:常规世界模型算不准碰撞,物体还会在视频里「消失」
新闻稿在背景部分交代了这套技术的针对性。物理 AI 指让机器人等机器通过相机和传感器感知物理世界、自主决策与行动的 AI;在其中,依据机器人自身动作预测环境状态变化的世界模型正受到关注。但按 NTT 的描述,常规世界模型不在内部显式表示物体的物理量,生成的视频可能出现物体凭空消失、不合常理的形变,物体间的碰撞等相互作用也可能预测不准;对大量训练数据的依赖,则让模型在训练数据没有覆盖的情形下更容易失手。
在装卸形状、重量、摆放方式各异的物品时,这些短板尤其突出——机场行李和快递小件包裹是新闻稿点名的两类场景:仅靠常规机器人控制,事先很难判断一个动作会不会压塌载荷、掉落物品;而为每一种可能的物品收集训练数据也不现实。NTT 给出的思路是显式表示物理量、按物理规律推演,让模型应对没有见过的情形。
physics control adapter:先从视频估出物理量,再按运动方程生成未来
具体承担这件事的是 NTT 自研的 physics control adapter。按新闻稿和配套架构图,它先从视频出发,把画面分解为称为 slot(槽位)的特征向量,为每个物体估计位置、朝向、速度、质量等物理量,再依据运动方程计算物体下一步的运动,并把计算出的未来状态作为条件注入视频生成过程。NTT 称,这是全球首次把 physics control adapter 整合进作为世界模型基础的视频生成模型——「全球首次」为其自述口径。
新闻稿为这项设计列出四个特点:按物体估计物理量,依据物理规律高精度预测未来行为;显式引入物理规律后,可以预测训练数据中没有出现过的情形与运动;与视频生成模型结合,预测以自然的视频形式输出,便于在执行前评估动作结果;显式给出预测背后的物理量,让生成结果有据可查。
两组自报数据:小型机器人堆放实验与 OBJ3D 基准
NTT 公开的数据有两组。第一组来自货架装载实验:让一台小型机器人模拟物品堆放,对比采用与不采用该技术时的任务成功率,结果分别为 92.3% 和 73.1%。新闻稿中的实验画面显示,系统对四个候选动作分别打出 0.815、0.283、0.383 和 0.882 的分数,得分最高的第四个动作被标记为最佳。
第二组来自公开视频预测基准 OBJ3D,其中的视频包含多物体碰撞等交互。NTT 称其世界模型在 LPIPS(Learned Perceptual Image Patch Similarity,一种按人类感知方式衡量预测视频与真实视频相似度的指标,数值越低越接近真实)上优于对比方法:商用视频生成模型 NVIDIA Cosmos Predict 2.5 为 21.90,学术研究中报告过的最优结果 OCK(Song, YeonJi 等,ICCV 2025)为 7.92,NTT world model 为 7.81。按表格数字,NTT 与学术最优的差距是 0.11,领先幅度并不大。
两组数字均出自 NTT 自己的发布:堆放实验使用小型机器人,OBJ3D 是合成物体的碰撞视频。,计划中的 Mujin 实测要检验的,正是这组提升能否迁移到真实的机场行李装卸场景。
实测尚未开始,两家公司主讲人已列入论坛日程
新闻稿列出的合作设想不止 Mujin, Inc. 一家:NTT 还将考虑与机器人服务提供商、物流和仓储企业合作;在行李和包裹装卸的基础上,NTT 设想把这套技术扩展到物流仓储、制造、建筑、零售等领域,目标口径是「帮助减少人力需求、提高生产率」。
发布一周后,这项技术将按计划在 NTT 自己的论坛上展出。显示,论坛于 2026 年 11 月 18~20 日和 24~25 日举行,11 月 25 日 10:30~11:20 设有一场技术研讨会,主题为「AI 机器人与预测物理行为的物理信息世界模型的演进」,主讲人是 Mujin Japan, Inc. 首席执行官、全球首席营收官 Isamu Arase 和 NTT Human Informatics Laboratories 的 Executive Research Engineer Jun Shimamura。截至发稿,NTT 与 Mujin, Inc. 的实地验证尚未开始;这组实验室数据能否迁移到真实的机场行李装卸,要等这轮实测给出答案。