AREXOpen in interactive Feed

AREX Feed Article

Runway 以 Apache 2.0 开放 27B 世界动作模型 Praxis-1 权重,自报 RoboLab-120 成功率 46.2% 居同类第一

November 13, 2026

11 月 11 日,Runway 在中确认,其 27B 参数的混合专家(mixture-of-experts,MoE)扩散 Transformer 世界动作模型(world action model)Praxis-1 已开放权重,许可证为允许商用的 Apache 2.0;权重之外,推理与微调代码、全量微调与 LoRA(Low-Rank Adaptation,低秩适配)支持同步放出,上线 、(含原生 LeRobot 支持)与 vLLM-Omni。按照发布页的说法,Praxis-1 于 ,是 Runway 的第一个世界动作模型,与其通用世界模型共享同一套大规模视频预训练。

成绩单出自 Runway 自己:在 所用的仿真基准上,Praxis-1 跨 1,200 个回合取得 46.2% 成功率,高于 FLUX 3 Action 的 42.9%、Cosmos3 Nano 的 36.8% 与 π0.5 的 28.0%,Runway 称其为榜单上的最佳世界动作模型;在训练数据中从未出现过的 Google RT-1 机器人上微调后,Praxis-1 在 SimplerEnv 上达到 80.0%,原版 RT-1 策略为 52.4%。三家发布合作方 Noble Machines、Standard Bots 与 Ultra 已在腿式人形机器人、六轴工业机械臂与双臂仓储机器人上运行同一个检查点——这些部署情况,目前见于 Runway 的发布材料。

权重、代码与量化版本,一张 80 GB 显卡起步

GitHub 仓库以 Apache 2.0 收录推理代码、策略服务器、MuJoCo 仿真与全量/LoRA 微调指引,写明运行需要 Python 3.12、CUDA 13.0 驱动和一张至少 80 GB 显存的 GPU;仓库在 11 月 12 日仍有更新,目前 101 个 star。Hugging Face 集合里,三个基础检查点 praxis-1-droid(单臂配置)、praxis-1-yam(双臂)与 praxis-1-base(未经本体微调的中训练底座)各有 LeRobot 布局版本,前两个另有把路由专家压到 4-bit 浮点格式 NVFP4 的量化版本;面向 SO-101 单臂的 praxis-1-so101 及其量化版也已上架。写明量化把权重从 bfloat16(bf16)精度的 54.4 GB 压到 17.5 GB;在 RoboLab-120 抽样的 600 个回合中,量化版成功率 46.5%,bf16 版 47.8%,报告称两者接近。

硬件支持方面,发布页称模型开箱即用覆盖 NVIDIA 的数据中心卡 H100 与 B200、工作站卡 RTX 5090 与 RTX PRO 6000,以及装在机器人本体上的 Jetson Thor;托管推理由 Reactor 提供,NVIDIA 的 NeMo Automodel 另附针对领域后训练的实操教程。

两个「第一」的口径:总榜第五,四个更高分

RoboLab-120 是 NVIDIA 的仿真基准,包含 120 项桌面任务,面向 DROID 式单臂,官方协议为每任务 10 次尝试。Runway 技术报告写明,上榜成绩出自同一个在 DROID 上微调的检查点——DROID 是公开的真实 Franka 机械臂演示数据集,这次微调只用了其中约 277 小时的成功回合;该检查点解决了 1,200 个回合中的 555 个。

「第一」有两个限定口径:世界动作模型第一、开源机器人基础模型第一,Runway 注明截至发布时。NVIDIA 榜单的总排位上,Praxis-1 位居第五,前面还有四个更高分:AMP1 86.0% 与 SenseNova-RoboRSI 57.1%,两者在榜单上的类型都是「Agentic LM」(智能体语言模型),按 Runway 报告的描述直接驱动前沿多模态模型而非训练出的策略;Lakeside 51.0% 与 BiMind v0.5 49.2% 按 Runway 的说法是闭源模型,部分用仿真数据训练,BiMind v0.5 还在 RoboLab 数据上微调过,榜单则把 Lakeside 的类型标注为 LWM。这四个名字没有出现在发布页的四行对比表里,但技术报告原文列出了它们。

延迟是 Runway 划出的另一条线。报告引用 SenseNova-RoboRSI 作者自己的说法:该系统在同类桌面基准上每个回合约需 55 分钟计算,对应 8~76 秒的指令动作,作者称这一执行时间不适合部署。榜单页面同时注明,RoboLab-120 的提交流程正在修订,暂停接收新提交。

先想象未来,再动手:视频主干与 314M 参数的动作专家

Praxis-1 每次调用三样输入:任务指令、最新的相机画面、机械臂当前位姿;输出是一段预测视频加上 1.6 秒的动作(15 Hz 下的 24 行),机器人整段执行后把相机实际看到的画面发回,作为下一次调用的上下文。视频主干有 26.9B 参数,每个 token 只激活约 2.8B:20 个前馈层中 17 个是 MoE 层,每层由 1 个共享专家加 128 个路由专家组成,每个 token 挑 8 个。动作专家是 16 层、约 314M 参数的稠密 Transformer,通过 8 处交叉注意力读取主干编码器不同深度的内部状态——按报告的描述,动作专家在主干想象未来时读出未来。每台机器人只添加自己的一层输入输出投影,主干与专家在所有本体间共享;指令编码器 Qwen3.5-2B 与视频压缩模块 Wan2.2 VAE 沿用现成权重、保持冻结。

为适配机器人,模型把注意力改成分块因果(chunk-causal):按 1.6 秒一块处理时间,每块只能看更早的块。单张 H100 上,默认分块执行的一次调用往返约 0.55~0.6 秒(双臂 YAM 的中位服务器时间为 545 ms);可选的实时分块(real-time chunking,RTC)把服务器时间压到 128 ms,并把机械臂静止等待的时间占比从 32% 降到 5%。在五物归袋任务上,RTC 成功 24/30、分块执行 28/30,但 RTC 完成得更快,中位用时 9.1 秒对 15.2 秒。

报告还做了一组误差分解:让模型看着真实未来视频采样动作时,末端执行器误差约 1.14 cm;让它自己想象未来再采样时约 5.71 cm。报告据此判断,剩余误差主要来自「想象错了未来」,改进未来视频预测的收益最大。11 月 9 日,Runway 还在同一台双臂 YAM 遥操作台上让 Praxis-1 与前沿多模态模型 GPT-6 Astra 做同样三个任务:前者平均 16 秒完成、约合每任务 0.04 美元,后者 4 分 13 秒、1.87 美元,耗时 15.6 倍、成本 51 倍(Praxis-1 按 3.95 美元/小时的 H100 计价,Astra 按 API 账单计)。Runway 称两条路线互补,计划研究如何把快速策略与智能体配对使用。

训练里没见过的 RT-1:视频预训练的赌注

这条迁移成绩背后是 Runway 的方法赌注。中训练阶段,58.1% 的 token 来自第一人称人类视频(做饭、清洁、组装、打包等),20.2% 来自一般视频,17.6% 来自真实机器人视频,游戏画面只占 0.6%;9 月预告页给出的实验结论是,网络视频与遥操作机器人视频作为预训练素材对策略表现相当,瓶颈变成模型能学到多少通用视频。

缩放证据来自同一套配方的五次微调。换五个不同的中训练检查点在 DROID 上微调,RoboLab-120 成绩从 25.5% 依次爬到 35.2%、39.2%、41.2%,第五个检查点停在 41.2%;在 RT-1 上,SimplerEnv 成绩从最早的 56.3% 走到 65.6%、66.9%、64.1%,最后跳到 80.0%——不是每一步都在涨。报告写明,趋势存在,但确切关系需要进一步研究。

RT-1 是 Google 的移动操作机器人,中训练数据里没有任何它的录像。Runway 用完整 RT-1 训练集(约 7.8 万个回合、95 小时、仅头部相机)微调 3 万步,在 32 张 H100 上花了约 28 小时,然后在 SimplerEnv 官方 visual-matching 网格(四个任务、共 864 个回合)上评测:四任务平均 80.0%,RT-1 自己公布的收敛成绩是 52.4%。作为对照,Runway 用同样的 RT-1 数据和 Black Forest Labs 公开的微调配方微调 FLUX 3 Action,得到 39.7%。

对训练中未见本体的另一项测试在 SO-101 上。这种面向爱好者的低成本开源单臂,社区积累了大量小数据集:Runway 从 1,783 名贡献者那里收集 3,956 个公开 SO-100/SO-101 数据集、约 1,260 小时,留出 102 个数据集做验证,用其余约 1,070 小时微调;技术报告展示的片段里,模型按一条指令叠毛巾、拿海绵擦盘子。

同一份权重,三种本体

发布页称,Noble Machines、Standard Bots 与 Ultra 三家发布合作方已在自己的硬件上运行 Praxis-1,涵盖腿式人形机器人、六轴工业机械臂与双臂仓储机器人,发布页未逐一写明哪家对应哪种本体;同一个检查点经轻量微调已适配多种本体,用 LoRA 可以适配自己的本体、相机与任务而不必重训整个模型。9 月预告页发布过测试片段,其中 Standard Bots 的 RO1 六自由度机械臂完成了一段倒水演示;预告页还写明,早期测试旨在确认有效性与安全性,在正式开放前评估多种本体与环境。

交出权重的理由,与 Runway 自己写下的短板

开源的决定在 9 月就写进了预告:「Praxis-1 公开发布时,我们将以开放权重而非闭源模型的形式交付它。」理由那段写得直接:美国在物理 AI 上的领导地位,既依赖硬件与软件的投资,也依赖美国模型在物理场景上目前还不具备的互操作性与开放度。发布页重申了这段立场,并称开放权重让硬件开发者能按自己的条件运行、检查和改造一个世界模型。

Runway 在 6 月作为创始成员加入 ——它与 NVIDIA 及多家 AI 实验室发起的开放世界模型联盟,首个项目是与 NVIDIA 共同开发一个基础模型。Runway 联合 CEO Anastasis Germanidis 当时说:「AI 的未来将建立在世界模型之上……以开放的方式构建这些系统,让研究者社区在共享的基础设施上回馈贡献,是我们更快抵达那里的方式。」NVIDIA Cosmos Labs 副总裁 Ming-Yu Liu 则称,世界模型正在成为能够推理、预测与行动的物理 AI 系统的基础。发布页称 Praxis-1 建立在这项合作之上。

技术报告里写着三类已知短板:最常见的真实失败是伸手去抓与目标外形相似的物体;指令含糊时表现明显变差,点明颜色、尺寸等属性会好一些;单条指令串起多步任务仍然困难,目前需要逐步下达。下一步,Runway 称将聚焦长期推理、代理规划与自我改进循环,方向之一是把策略与负责拆解任务的语言模型配对。而短板清单的第一项,正对应那个误差分解指向的地方:选错目标的那一刻,通常已经出现在模型自己想象出来的未来视频里。

参考链接