AREX Feed Article
RoboJEPA 作者公开全部 checkpoint 与代码：JEPA 预测器扩到 8B，称首次给出多具身世界模型缩放律
2026 年 10 月 10 日 18:08 UTC（北京时间 10 月 11 日凌晨），论文第一作者 Artem Zholus 在 X 上发布了 RoboJEPA。帖文把工作概括成几条：把 JEPA 预测器扩到 8B 参数，验证缩放律可以外推，把算力缩放与规划性能对应起来，并释放全部 checkpoint 与代码。他称这是多具身（multi-embodiment）世界模型的第一个缩放定律（）。
论文更早就上了 arXiv：2610.10515 于 10 月 7 日 17:54 UTC 提交，分类为 cs.AI 与 cs.RO，作者来自 FAIR at Meta、Mila – Quebec AI Institute、Chandar Research Lab 与 Polytechnique Montréal（）。10 月 10 日的帖文串把项目页、代码与论文三个入口一并给出，并说明模型 checkpoint 连同训练、评测与规划部署代码一起释放（）。
8 个规模的权重，连同训练与部署代码一起公开
代码与权重放在 Meta FAIR 的 facebookresearch/robo_jepa 仓库，项目页上的「Weights」入口直接指向仓库的预训练模型表格（）。表格按 22M、50M、100M、300M、1B、2B、4B、8B 八个规模列出世界模型，每个规模附多个训练步的 checkpoint，例如 22M 从 10k 步到 150k 步共 12 个；另有一行是 8B 在 DROID 数据上、三路相机、720p 分辨率的微调版本。Zholus 在推文串里称释放的是「全部 72 个模型 checkpoint」（）。
权重之外还有依赖：八个规模共用同一个冻结的 V-JEPA 2.1 ViT-G/384 编码器（1,664 维特征），这部分权重来自 Meta 的 vjepa2 仓库，属于第三方依赖；要用解码器把隐空间推演还原成视频，还需要额外的 NVIDIA Cosmos-0.1 tokenizer。仓库给出的环境是 Python 3.11 与 PyTorch 2.7.1 + CUDA 12.6，跑 RoboCasa 仿真规划还要再下约 23 GB 的厨房资产。
12 种具身、15,022 小时视频，编码器全程冻结
论文针对的缺口是：此前的隐空间世界模型基本只在单一规模上训练，论文称这类模型的质量随数据、参数与算力的变化此前未被刻画。RoboJEPA 的做法是把变量拆开：编码器固定不动，只缩放叠在它上面的动作条件预测器。
训练数据由 23 个公开操作数据集拼成，覆盖 12 种机器人平台，包含单臂、双臂与人形；合计 15,022 小时视频，其中 6,692 小时与动作同步，共 2,871,300 条训练 episode，动作空间有 26 种。各数据集的相机数量、帧率、分辨率与动作定义互不相同，论文把它们统一成同一种磁盘格式后再混合训练。模型侧是一个前馈 transformer，在冻结编码器的隐空间里做 L1 回归，一次前向预测下一个隐状态。按 Zholus 在推文串中的说明，模型是确定性的、不用扩散，损失分两项：从真实的过去隐状态与动作预测下一步，以及从自己预测出的过去隐状态出发再预测下一步（）。
预训练用 2 步自回归 rollout（K=2），随后进入 cooldown 阶段；面向长时程规划的那套 cooldown 把 rollout 拉到 10 步（K=10）。论文另配了一个基于 Cosmos 视频 token 的扩散解码器，用来把推演还原成像素，只做可视化，不参与训练与规划。
论文报告想象误差服从二阶幂律，22M～2B 拟合外推到 8B
论文把被预测的量定义为「想象误差」：从初始观测出发，按记录的动作序列预测 9 步未来，逐 token 比对编码器特征并取 L1 距离，在训练没见过的场景上评测，固定使用一路侧相机与一路腕部相机。它同时是训练目标和规划阶段被最小化的量。
作者拿四种函数形式做候选：标准幂律、指数里带对数项的二阶幂律 L(C)=E+A·C^(α−γ·ln C)、Broken Neural Scaling Law（BNSL）与 Unified Neural Scaling Law（UNSL）。做法是用 22M～2B 的模型拟合，再用 4B 与 8B 检验外推。二阶幂律胜出：在 DROID 与 RoboCasa 两个 held-out 集上，它对 4B、8B 的外推误差为 0.6×10⁻³ 与 1.4×10⁻³，比标准幂律的 2.0×10⁻³ 与 3.7×10⁻³ 低约 2～3 倍，也低于 BNSL（1.0×10⁻³、1.8×10⁻³）和 UNSL（1.4×10⁻³、5.7×10⁻³）。两条最优候选曲线给出的不可约误差接近，DROID 约 0.2、RoboCasa 约 0.17；论文在缩放律一节据此判断，模型在当前训练与数据预算下已经接近饱和。
论文真机结果：8B 抓取成功率 67%，物体交互要到 10²² FLOPs 才出现
论文里的规划器不做策略学习：给一张目标图像，模型在隐空间里用交叉熵方法（CEM）做多步规划，动作从均匀分布里采样，再由世界模型排序。真机是 DROID 平台上的单臂 Franka，一路外置相机加一路腕部相机；论文在真实与仿真两个平台上合计跑了 50,000 次以上评测 episode。
在 RoboCasa 的多个规划任务上，成功率随训练算力上升并形成 compute-optimal frontier，但能力出现的门槛不同：末端执行器能力大致在 10²⁰～3×10²⁰ FLOPs 之间出现；需要绕开障碍、与静态场景几何打交道的任务要到约 10²¹ FLOPs 才起飞、约 10²² FLOPs 饱和；物体推动任务在约 10²² FLOPs 之前没有任何模型拿到正的成功率。论文写的是，只有训练算力超过 10²² FLOPs 的 2B、4B 与 8B 模型，才能用非贪心规划解出物体交互任务。作者还把训练 rollout 从 K=2 换成 K=10 重做了 cooldown：新配方在总训练算力超过约 10²¹ FLOPs 后更省算力，并降低了拟合的不可约误差，论文称这是误差累积的真实下降。
真机三个任务（抓取、举起、抓放）使用同一套规划超参，成功率随模型规模上升：4B 分别为 60%、30%、21%，8B 为 67%、50%、27%。论文把 π0-FAST 与 π0.5 列为参考而非可直接比较的基线，理由是目标指定方式（文本指令 vs 单张目标图）与训练方式都不同；π0.5 在抓放上拿到 53%，在举起上却是 0%。行为上还有一个规模门槛：只有 2B 及以上的模型会在抓取后保持夹爪闭合，更小的模型常常误开夹爪，把物体掉下去。
作者自己列的限制，与帖文下的两条回复
论文结论部分列了四条限制：编码器冻结，所以这套缩放律描述的是固定在某个表征之上的动力学模型，而不是编码器与预测器联合缩放；在固定语料上训练多个 epoch，拟合已经接近数据饱和，继续推前沿更可能要靠更多样的交互数据，而不只是参数；模型不使用文本，规划只面向单张目标图像；规划时也不使用学到的策略提议。其中关于数据饱和的那条限制与缩放律一节的判断相互呼应：论文在那一节用两条最优曲线的不可约误差接近，说明当前训练与数据预算下模型已接近饱和。
@Zhen4good 在回复中认为，把算力缩放与规划性能对应起来很有说服力，但真正开放的问题是：当规划必须从长时程累积的预测误差里恢复时，这种相关性是否还成立（）。@daniel_priscu 的说法是，把算力与规划性能挂钩才是有用的部分，世界模型论文通常止步于预测损失（）。截至 10 月 11 日，原帖约有 115 次点赞、31 次转帖和 12 条回复。
论文中的结果均由作者团队报告，其中「第一个多具身机器人世界模型缩放定律」「8B 是迄今最大的 JEPA 预测器」这类说法都带着「据我们所知」的限定。与结论一起公开的还有核对路径：仓库说明了如何按规模下载 checkpoint，并用 scripts/evals/eval_droid_holdout.py 在 DROID held-out 数据上重跑那条缩放曲线。