AREX Feed Article
英伟达在 Hugging Face 开放四个 Cosmos 3 16B 世界模型检查点，OpenMDW 1.1 许可允许商用
11 月 5 日（UTC 时间 19:35），NVIDIA 在 宣布，为 Cosmos 3 世界模型家族新增四个开放权重检查点。四个模型均由 Cosmos 3 Nano 后训练而来，各含 16B 可训练参数，采用 OpenMDW 1.1 许可发布——按博客的说法，该许可在其条款下允许商用与非商用使用。权重、代码仓库（）、技术报告与 demo 的链接随公告一并给出，检查点集中在 下。
四个检查点对应物理 AI 仿真里四条「动作到画面」路径： 生成多视角驾驶数据，支持 RGB–LiDAR（彩色图像与激光雷达）联合生成， 做流式同步相机加 LiDAR 驾驶仿真， 把仿真器控制转成照片级视频， 从双臂机器人动作预测后续画面。支撑这批发布的已先行一天上线：11 月 4 日以 arXiv 预印本发布（arXiv:2611.06627）。
从驾驶数据生成到双臂动作预测：四个检查点的分工
Transfer-Auto 是双向模型，用于离线合成驾驶数据：一次生成最多 11 个相机视角（含鱼眼）的同步视频，支持 RGB–LiDAR 联合生成。每个相机由 World Scenario Map（世界场景图，WSM）控制指定场景结构与交通运动，文本提示管外观，可用初始 RGB 图像锚定场景；联合 LiDAR 生成还要用与相机控制对齐的高精地图距离图（range-map）控制。博客把 Transfer-Auto 定位成适配自有传感器布置的起点：先在自己的驾驶数据上后训练，再经因果训练与少步蒸馏变成流式模型——Sim-Auto 即按这条路径开发而来。
Sim-Auto 是 Transfer-Auto 的因果蒸馏流式变体，以很少的去噪步数逐块生成同步相机视频与 LiDAR，靠自身生成历史和更新后的驾驶控制支持长时程交互；闭环运行还需要仿真运行时和 WSM 渲染器，把驾驶输入转成新的控制。
Sim-Transfer 接收物理仿真器算出的空间控制加一段文本，输出策略可直接消费的 RGB 观测。Sim-Bimanual 模拟双臂机器人操作下的环境演化，支持 YAM 与 AgiBot 两种本体，控制来自策略或人工摇杆：从一张图出发，动一动机器人或相机，生成下一帧观测，同一条控制序列可以在视角变化与物体操作之间切换。
除权重外，每个模型在仓库里各带一份面向编码 agent 的推理 skill 文件和配套 notebook；后训练配方从 Cosmos 3 Nano 或兼容的基础权重出发、覆盖全部四个阶段。仓库自带的示例训练配方按 8 块 GPU 给出（在 8× H100 80 GB 上测试过）。导出的推理权重不含优化器等训练状态，博客提醒保留完整训练检查点以便续跑。
驾驶侧：11 个相机、同步 LiDAR 与可更新的世界状态
上面这张图来自 cosmos-framework 仓库的 Camera rig explorer 文档：训练与测试布局选中的是 11 相机（11 cam）方案，覆盖前视广角、长焦、交叉视点与多个鱼眼，图中选中的前视广角水平视场 119.5°、安装高度 1.24 米。WSM 控制在这套阵列之上表示车道、物体、路面标线、交通标志与道路边界；给出了参考运行——四块 GPU 上生成 7 段 720p 视频（297 帧、30 fps）加 99 条 LiDAR 扫描。Transfer-Auto 以 30 fps 输入输出，480p 或 720p 单次最多 400 帧，更长序列靠自回归分块续写。
技术报告把运行时数字也放在驾驶章节：无掩码多视角注意力后端比以往方法快 2.5～3 倍，随模型发行的推理优化把单个块的中位生成耗时再降 30%～32%，控制准备与缓存更新仍是瓶颈。报告自述，两个驾驶检查点在分布保真度、时序一致性与交通对象遵循度上较基线有明显提升。开发者博客图示的闭环为：策略模型（如 Alpamayo）把动作发给 AlpaSim 仿真运行时，运行时更新状态后由 Sim-Auto 合成下一组相机画面与 LiDAR 观测，回传给策略。
机器人与仿真器侧：四种控制通道、双臂动作与运行门槛
Sim-Transfer 支持四种空间控制：深度（相机相对距离）、分割（区域与物体边界）、边缘（场景轮廓）与模糊（粗略外观和布局）；文本负责外观，物理与真值状态留在仿真器里，形成「动作 → 仿真器更新 → 空间控制 → 生成 RGB → 策略下一个动作」的循环。自报的对比数字是：四种被评估的控制模态上，边缘 F1 比 Cosmos 3 GA（正式发布版）参考高 59.2%，深度误差低 26.5%。
Sim-Bimanual 的动作格式有明确约定：混合动作示例用 59 个控制值，训练时补到 64；动作 schema（格式定义）规定了坐标系、旋转、夹爪标定、有效性掩码与控制域；T 次转移对应 T+1 帧观测，发布的推理动作已做归一化。项目页还自报，该模型在 AgiBot-World 与 AgiBot-GEAR 上的视频质量与参考帧 PSNR（峰值信噪比）高于 DreamDojo 2B 和 14B——这些对比均出自 NVIDIA 自己的材料。
运行门槛写在模型卡与博客里：Linux、NVIDIA GPU、Docker 与 NVIDIA Container Toolkit。开发者博客补充，检查点支持 PyTorch 与 vLLM-Omni，已在 Hopper 和 Blackwell GPU 上测试；公开的 vLLM-Omni 配置在一台 GB200 上跑过——博客特别注明，这不是最低显存规格。
四阶段后训练：让模型学会消费自己的生成历史
Cosmos 3 是英伟达的全模态（omnimodal）世界模型家族，在统一的 Mixture-of-Transformers（混合 Transformer）架构里联合处理与生成语言、图像、视频、音频与动作序列。主干把语言与视觉 token 分流到独立的推理塔与生成塔，经联合注意力、共享位置嵌入连接。生成器每次从提示、可用控制和生成历史预测一个短段：去噪把带噪的压缩视频表示精炼成一段画面，时序因果注意力只允许读历史、屏蔽未来目标，key/value 缓存把注意力信息留给下一次预测。模型在称为 latent 的压缩视频表示上运行，初始图像之后每个 latent 时间步对应 4 帧 RGB；Transfer 每块预测 1 步，报告中优化的 Bimanual 配置预测 2 步——块越小，新控制介入得越频繁。
训练分四阶段：Stage 0 用完整录制片段做双向适配，学习目标域及其「控制到画面」关系；Stage 1 是教师强制（teacher forcing），从早前录制观测和可用控制预测每个块；Stage 2 是一致性蒸馏（consistency distillation），冻结教师训练学生，4 个去噪步生成一块；Stage 3 是自我强制（self-forcing），直接在学生自己生成的历史上训练，由冻结教师与辅助打分（score）模型给出分布匹配信号。博客解释了最后一步的必要性：一个轻微预测错的物体会成为后续帧的上下文，误差会复合。数据侧，报告附录记录：按元数据与字幕窗口标准排除 156,946 条后，保留了 1,996,602 条合格视频。
NVIDIA 自己标注的边界
对后训练使用者，博客的提醒具体：跑通一次短训练只验证执行、不验证收敛，质量要在留出的评估片段（episode）上检验。报告的 LiDAR 案例研究给出一个具体短板：天气提示会降低 LiDAR 回波的有效率与强度，共享几何保持不变——作者把它当作通往更真实 RGB–LiDAR 联合仿真的一个方向。
限度也写在同一条公告里：「这些问题仍然困难：接下来的工作是测量这些模型在哪里能忠实支持策略学习与评估，理解它们的局限，并在不足之处改进。」