AREX Viewpoint Article
英伟达Cosmos：物理AI如何跨越语言、视频与动作学习
导读
7月20日，NVIDIA在SIGGRAPH 2026上宣布Cosmos 3 Edge开放可用，把前沿世界模型带到边缘GPU，用于本地物理AI。此前，5月31日发布的Cosmos 3系列已经包含Super和Nano；Edge作为第三款、也是最小的一款，特别针对Jetson Thor等边缘平台。NVIDIA也在7月15日透露，日本机器人企业将基于Cosmos引入Edge，在Jetson Thor上做设备端视觉推理和策略部署。这一系列发布把物理AI的推理与动作生成从数据中心推到了机器人现场。
但把世界模型压进边缘设备只是第一步，更麻烦的问题是：本地生成的动作是否值得信任？9月15日，Machine Learning Street Talk发布了与NVIDIA Cosmos Lab副总裁Ming-Yu Liu的对谈《How Physical AI Learns Across Language, Video and Action》，恰好把这背后的架构讲透了。Liu解释，Cosmos 3并非单纯的视频生成模型，而是先由一个视觉语言模型以自回归方式逐token推理，再用其权重初始化一个双向扩散生成器；同时通过统一的时间位置嵌入，把帧率、音频频率和动作频率各不相同的信号对齐到同一时间轴。这个设计让Edge版本在有限算力下同时理解场景、生成视频并输出机器人动作。
在Liu看来，世界模型不是单一定义，而是一组工具。机器人需要前向动力学、逆向动力学和策略三种建模，它们本质都在捕捉观察与动作之间的相关性；当模型被施加容量约束并联合训练时，三者会互相增强。这个工具化定义与Edge的落地路径一致：设备端模型不能只做视频生成，必须在观察、预测和动作之间保持闭环。正因如此，Liu强调，把世界模型放到机器人所在之处，而不是依赖到数据中心的往返，才是边缘版本的核心逻辑。
对开发者而言，另一个关键问题是数据从哪里来。Liu指出，人类第一人称视频远多于机器人视频，但人形机器人与人类在视觉和操作模式上高度相似；模型学到的不是精确动作空间映射，而是视觉观察与动作之间的相关性模式。因此，在DROID数据集上后训练的Cosmos 3模型可以作为抓放策略的起点。这也解释了为什么Edge必须足够小又能本地运行：策略迭代如果每次都要返回数据中心验证，就失去了部署意义。
最实用的判断来自测试环节。Liu认为，神经模拟器不需要精确的成功率，只需要保持策略排名正确——如果策略A在模拟中优于策略B，真实世界中大概率也如此。这一条件把模拟器从“必须高度保真”降低为“只要能正确排序”，从而让团队可以用算力替代真实车队和机器人。这个逻辑在人形机器人进入家庭后变得更加紧迫：当机器人围绕儿童和宠物工作时，安全要求比自动驾驶更高，而开发者不可能为所有厨房布局搭建真实测试环境；神经模拟于是成为维持开发速度的唯一可行路径。Cosmos Dreams正在把这种闭环模拟从导航扩展到接触式操作。
回到7月的Edge发布，这次开放的不只是模型权重，还有代码和部分训练数据，托管在Hugging Face和GitHub上。结合Liu的解释，Edge补齐的不仅是尺寸，而是从推理塔、生成塔到动作输出的完整部署链路；神经模拟器的排名标准则给出了筛选策略的低成本方法。对于正在评估人形机器人或自动驾驶方案的团队，这期对谈提供的不是又一份发布说明，而是一套判断物理AI能否安全、快速落地的标准。
核心结论
- 动作成为一等公民，让 Cosmos 3 从视频描述者转变为物理交互参与者：Cosmos 3 将文本、视频、音频和动作统一为输入，使模型既能回答视频中发生了什么，也能生成视频并输出机器人动作。动作与观察之间的因果链条让模型能够模拟自身行为对环境的改变，这是构建闭环模拟器的关键前提。
- 推理塔与生成塔的结合，解决了多模态信号时间对齐的核心难题：Cosmos 3 先用视觉语言模型做逐 token 推理，再用其权重初始化双向扩散生成器，并通过时间位置嵌入方案将视频、音频和动作归一化到同一时间轴。这一架构设计保证了生成内容在时间上的一致性，是全模态模型的技术基础。
- 神经模拟器不需要精确成功率，只需保持策略排名正确就能大幅降低测试成本：大量策略检查点无法逐一部署到真实机器人或自动驾驶车队测试，而 Cosmos 作为神经模拟器可以让策略直接与模拟环境交互。只要模拟器中的策略排名与真实世界一致，就能筛选出值得真实测试的检查点，这大幅降低了模拟器作为验证工具的精度门槛。
- 人类第一人称视频可以迁移到机器人学习，关键在于视觉与动作的相关性模式：人类第一人称视频数量远多于机器人视频，但人形机器人与人类在视觉和操作模式上高度相似。模型学习的是视觉观察与动作之间的相关性模式而非精确动作空间映射，因此跨具身迁移相对容易，甚至有助于泛化到未见过的具身形态。
- 人形机器人进入家庭后，神经模拟是保证安全验证与开发速度的唯一可行路径：人形机器人围绕儿童和宠物工作时，安全要求比自动驾驶更高，但开发者无法为所有厨房和任务搭建真实测试环境。神经模拟器因此成为维持开发速度的唯一方式，而 Cosmos Dreams 正在将闭环模拟从导航扩展到更具挑战性的接触式操作。
观点拆解
1. Cosmos 3 把动作提升为一等公民，让世界模型从“描述视频”走向“生成视频与机器人动作”
-
Cosmos 3 将文本、视频、音频和动作统一为输入，使一个模型同时具备描述、生成与控制能力：Cosmos 3 的输入不再局限于文本和视频，而是把音频与动作也纳入模型的理解范围。这意味着同一个模型既能回答“视频里发生了什么”，也能进一步生成视频并输出机器人动作，从被动的场景描述者转变为主动的物理交互参与者。
“现在 Cosmos 以文本、视频、音频和动作作为输入。”
“好的。所以一个模型，Cosmos 3，承担三项工作。”
-
动作被提升为“一等公民”，使模型能够基于自身动作产生后续观察，形成物理交互闭环：将动作作为一等公民，意味着模型不再只是观察者，而是可以执行动作并据此获得下一步观察。这种“动作—观察”的因果链条让模型能够模拟自身行为对环境的改变，从而更接近真实世界中的物理交互，而不仅仅是生成一段与动作无关的视频。
“现在我们让动作成为一等公民，这意味着模型实际上可以先采取一个动作，然后它的下一次观察可能是由它之前所做的事情引起的。”
-
模型从“描述场景”转向“生成场景”，为构建闭环模拟器奠定基础：Cosmos 3 的能力边界从理解视频内容扩展到生成视频内容，这一转变使模型不再停留在对已有场景的问答层面，而是能够主动创造新的场景。这种生成能力是构建闭环模拟器的关键前提，因为模拟器需要模型根据当前状态持续产生新的、连贯的环境反馈。
“模型停止描述场景，开始生成场景。”
2. Cosmos 3 的架构把自回归推理塔与双向扩散生成塔结合，用统一时间轴对齐不同频率的信号
-
Cosmos 3 先用视觉语言模型做逐 token 推理，再将其权重迁移到双向扩散生成器：Cosmos 3 的架构起点是一个语言模型，通过接入视觉编码器形成视觉语言模型，以自回归方式逐 token 预测并理解视觉内容。随后，这个视觉语言模型的预训练权重被用来初始化一个双向扩散生成器，使生成器继承了推理塔的语言理解和视觉连接能力。
“我们从一个语言模型开始。然后我们有一个视觉编码器，可以接收视频或一组图像作为输入。接着我们把这个视觉编码器连接到更大的语言模型上，这样就构建了一个视觉语言模型。”
“这个语言模型以自回归方式运行，一次预测一个 token。它学会把视觉输出连接到语言空间，用语言思考，解释它看到的东西。”
“我们拿这个视觉语言模型的预训练权重来初始化生成器。一个关键点是，这个视觉语言模型是自回归的，而我们的生成器实际上是扩散的，是双向的。这个双向生成塔学习生成视频、动作和音频。”
-
双向生成塔让每个 token 关注其他所有 token，保证生成块内信号的一致性：与自回归推理塔不同，Cosmos 3 的生成塔采用双向扩散机制，每个 token 都能关注到同一生成块内的其他所有 token。这种全局注意力使得生成的视频、动作和音频在同一个块内保持时间上的连贯性，避免逐 token 生成可能带来的不一致问题。
“在这个塔里，每个 token 都关注其他所有 token。所以当你生成视频或动作时，它生成的块之间存在连贯性。在每次生成中，这个块内的信号是连贯的。”
“它还会利用来自视觉语言模型部分——我们称之为推理塔——的 token。所以它也能理解指令，知道你想生成什么。”
-
时间位置嵌入方案将不同频率的信号归一化到同一时间轴，是全模态模型的关键：视频、音频和动作运行在不同的时间尺度上，帧率、赫兹和动作频率各不相同。Cosmos 3 通过时间位置嵌入方案将所有信号归一化到同一时间轴和尺度，使 token 能够识别同一时间实例上的其他 token，并理解不同时间实例之间的相对距离，从而保证多模态生成的时间一致性。
“不同的信号有不同的频率。即使是视频，也有不同的帧率，高速视频或低速视频。音频也有不同的赫兹，动作也不同。所以我们有一个时间位置嵌入方案，把所有信号归一化到同一个轴、同一个尺度。”
“这样，当 token 代表信号的不同时间块或不同空间时间块时，就能更好地知道哪些其他 token 处于相同的时间实例上，也能知道不同时间实例之间的相对距离。这是让这个全模态模型能够处理音频、视频和动作这些不同频率信号的关键部分。”
3. 世界模型不是单一定义，而是前向动力学、逆向动力学和策略在容量约束下互相增强的工具集合
-
世界模型应被理解为“一组有用工具”，而不是一个固定概念：Ming-Yu Liu 明确反对把世界模型当作单一定义，认为建模的动机来自具体目标，例如预测未来或理解场景。这一判断为后续把前向动力学、逆向动力学和策略统一纳入世界模型框架提供了概念基础。
“我认为世界模型也会是一样。所以我认为世界模型是一组有用工具的集合。我们建模某样东西，是因为我们试图达成某个目标。比如，它可能是预测未来，也可能是理解。”
-
机器人世界模型包含三个核心建模：前向动力学、逆向动力学和策略：Ming-Yu Liu 将机器人世界模型拆解为三种互补能力：前向动力学根据当前状态和动作预测未来，逆向动力学根据视觉变化推断已发生的动作，策略则决定机器人应执行什么动作。三者共同覆盖了从观察到行动的完整闭环。
“机器人领域有三种重要的建模：前向动力学——给定起点和所采取的动作，未来会是什么？预测将要发生什么。逆向动力学——给定视觉变化，推断采取了什么动作。还有策略——机器人应该做什么来完成任务？”
-
三种建模在信息瓶颈约束下共同训练，实验证明它们之间存在协同效应：Ming-Yu Liu 指出，前向动力学、逆向动力学和策略本质上都在捕捉观察与动作之间的相关性，只是从不同切片或视角切入。将它们放在一起训练并施加容量约束后，模型被迫学习更通用的表征，论文结果显示一种建模会帮助另一种建模。
“当我们训练模型时，我们把它们放在一起。我们给出信息瓶颈。你只有这么多容量来解释所有这些。它们都在试图把视频视觉观察连接到动作。……我认为这三者从根本上是在试图捕捉观察和动作之间的相关性。只是不同的切片、不同的视角。一旦你施加信息瓶颈、施加容量约束，模型就会学习。我们论文中的结果显示存在协同效应。一个确实会帮助另一个。”
4. 大量第一人称人类视频可以迁移到机器人学习，关键在于视觉与动作之间的相关性模式而非精确动作空间
-
人类第一人称视频与机器人视频之间存在显著的数据不对称，但两者的视觉观察方式高度相似：Ming-Yu Liu 指出，训练数据中存在明显的不对称：人类第一人称视频数量远多于机器人视频。然而，机器人同样配备头部摄像头和夹爪摄像头来观察任务执行过程，这意味着人类第一人称视角与机器人视角在视觉观察结构上具有可比性，为跨具身迁移提供了基础。
“我们有大量的第一人称视频，也就是第一人称视角和双手尝试完成某项任务。而机器人视频的数量相对较少，实际上要少得多。机器人也有头部摄像头、夹爪摄像头，可以看到它完成某项任务。”
-
迁移的关键不是精确的动作空间映射，而是视觉观察与动作之间的相关性模式：Ming-Yu Liu 强调，人形机器人与人类在外观和操作方式上高度相似，人类手部操纵物体的视觉模式与机器人操纵物体的模式非常接近。尽管动作空间并不精确对应，但一旦建立起一组动作的相关性，其模式是相似的。这说明模型学习的是抽象的相关性结构，而非具体的动作参数。
“我认为这更多是关于不同具身形态之间共享的词汇。人形机器人看起来像人类。人类手部如何操纵一个物体，其视觉模式、视觉与动作的相关性，与机器人操纵物体的模式非常相似。尽管动作空间并不精确对应，但一旦你建立起一组动作的相关性，模式是相似的。”
-
基于相关性模式的迁移不仅容易跨具身泛化，还能帮助泛化到未见过的具身形态：Ming-Yu Liu 进一步解释，由于人形机器人在形态上与人类相似——即使手部大小、手臂长度或夹爪设计有所不同，其功能仍然相近——因此从一种具身形态迁移到另一种相对容易。更重要的是，在训练中纳入多种具身形态有助于模型泛化到从未见过的具身形态，因为核心始终是视觉观察与动作之间的相关性模式。
“从一种具身形态迁移到另一种相对容易。而且当你纳入几种不同的具身形态时，它也有助于你泛化到未见过的具身形态。因为人形机器人看起来会像人类。也许有些手更大，有些手臂更长，但会是相似的。夹爪可以不同，但功能也是相似的。关键真的是视觉观察与动作之间的相关性模式。”
5. 神经模拟器不需要精确的成功率，只需要保持策略排名的正确性，就能大幅降低真实世界测试成本
-
策略验证的核心痛点：大量检查点无法逐一部署到真实环境测试：模型开发会产生大量检查点，理想做法是把每个策略都部署到真实机器人或自动驾驶车队中测量成功率，但这种方式成本极高。Ming-Yu Liu 指出，无论是机器人操作还是自动驾驶，每次更新策略都需要真实车队和驾驶员去不同场景验证，这构成了物理 AI 开发的主要瓶颈。
“理想情况是把每个策略都部署到真实机器人、真实环境中，测量完成率，也就是成功率。自动驾驶也一样，每次更新驾驶策略，你怎么知道它有效？你需要一支车队和驾驶员去不同挑战场景验证这个策略是否可取，这太昂贵了。”
-
神经模拟器让策略直接与环境交互，用计算机算力替代真实车队和机器人：Cosmos 作为世界模拟器可以替代真实世界和真实驾驶员，让策略直接与模拟环境交互，在 rollout 结束时测量任务是否完成，从而获得成功率。这意味着测试不再受车队规模或机器人数量限制，只要有算力就可以随时启动大规模测试。
“如果我们可以用世界模型作为世界模拟器，替代真实世界和真实驾驶员，让策略直接与世界模拟器交互，在 rollout 结束时世界模拟器可以测量任务是否完成，然后你就有了成功率。”
“我可以雇一百个司机，开一百辆车，去不同路口测试哪个更好，或者我可以用这个模拟器来验证准确性。你不再受车队规模的限制。任何时候你需要做大量测试，只要有计算机，直接启动就行。”
-
神经模拟器不需要精确的成功率，只需要保持策略排名的正确性：Ming-Yu Liu 强调，神经模拟器中的成功率不需要与真实世界精确一致，关键是策略排名的保持：如果策略 A 在模拟器中优于策略 B，那么在真实世界中策略 A 大概率也优于策略 B。这一判断大幅降低了模拟器作为验证工具的精度门槛，使其在开发早期就能发挥筛选作用。
“如果神经模拟器的成功率与真实世界测试相关，排名就能保持。你不需要它们精确，只需要知道策略 A 在神经模拟器中是否优于策略 B，那么策略 A 在真实世界中大概率也会优于策略 B。你只需要这个排名保持。”
6. Cosmos Dreams 将闭环模拟从自动驾驶扩展到机器人操作，但接触式操作比导航更难模拟
-
Cosmos Dreams 是一套面向所有具身智能的闭环模拟技能，而非仅限自动驾驶：Ming-Yu Liu 将 Cosmos Dreams 定义为构建闭环模拟器的技能集合，其适用范围从自动驾驶扩展到各类具身智能。这意味着模拟器不再只是驾驶场景的测试工具，而是机器人世界模型的一种实现形式，核心逻辑是输入动作、输出未来观测的前向动力学。
“我们将 Cosmos Dreams 定义为一套构建闭环模拟器的技能，不仅用于自动驾驶，也适用于所有类型的具身智能。”
“它符合机器人学中世界模型的传统定义：输入动作，输出未来观测，即前向动力学。”
-
接触式操作比导航更难模拟，因为交互会带来遮挡和形变：Ming-Yu Liu 指出，当前世界模型已经足以处理导航任务，因为导航的核心要求是避免接触；但操作任务需要大量物理交互，而交互必然伴随遮挡和潜在形变，这使模拟难度显著提升。这一区分划定了神经模拟当前的能力边界。
“导航任务中，你不希望物理设备触碰任何其他物体，但操作任务需要各种交互。一旦有交互，就会有遮挡，还可能有形变。”
“我认为世界模型现在对导航任务已经足够好了。在机器人学中，另一个挑战是操作任务。”
-
神经模拟终将能够处理接触式操作，届时机器人策略测试将发生根本变化：Ming-Yu Liu 对神经模拟的未来持乐观态度，认为随着领域热情、深度学习研究和算力的持续进步，神经模拟将能够很好地处理接触式操作。一旦实现这一目标，开发者就可以用世界模拟器直接测试机器人策略，而不再受限于物理设备数量和测试成本。
“我们将达到一个状态，能够使用神经模拟很好地处理这种接触式操作。一旦达到这个状态，你就可以用世界模拟器测试你的机器人策略。”
“我对整个领域在世界模型上的热情、深度学习研究的持续进步以及算力的提升非常乐观。我们将达到一个状态，能够使用神经模拟很好地处理这种接触式操作。”
7. 人形机器人进入家庭后，安全验证比自动驾驶更重要，神经模拟是保证开发速度的唯一可行路径
-
人形机器人进入家庭后，安全要求比自动驾驶更高：自动驾驶汽车已经在人类空间中运行，需要大量策略验证来保证安全；但当人形机器人进入千家万户、围绕儿童和宠物工作时，安全标准会进一步提升。这意味着开发者必须把策略验证作为每一次迭代的必备环节，而不能等到部署后再发现问题。
“当人形机器人达到即将部署到许多家庭中的阶段时，安全就变得更加重要。你不会指望在家里看到一辆汽车，但一旦人形机器人无处不在，你会看到人形机器人围绕着你，也许还有你的孩子和宠物。”
“作为人形机器人的开发者，你如何确保每一次策略迭代或整个系统都足够安全？你需要策略验证。”
-
神经模拟器是保证人形机器人开发速度的唯一可行路径：开发者不可能为所有厨房布局和任务类型搭建真实的物理测试环境，空间和资源限制决定了真实测试无法覆盖足够多的场景。神经模拟器因此成为维持开发速度的唯一方式，它让团队能够在部署前对策略进行大规模、多样化的验证。
“你不会有足够的空间来搭建各种各样的厨房和各种不同的任务。所以我认为使用神经模拟器是给你开发速度的唯一途径。”
8. Cosmos 3 通过 Super、Nano 和 Edge 三种尺寸覆盖从云端到边缘的部署需求，并开放模型、代码和数据
-
三种尺寸对应三类部署场景：Super 追求最高保真度，Nano 便于有限资源后训练，Edge 面向边缘设备：Cosmos 3 并非单一模型，而是按 Super、Nano、Edge 三种尺寸提供差异化能力。Super 作为前沿模型追求最高保真度和精度，Nano 更小、更容易用现有 GPU 资源做后训练，Edge 则专门为 Jetson Thor、Orin 和 DGX Spark 等边缘设备优化。这种分层设计让开发者可以根据自己的算力和部署条件选择合适版本。
“我们有 Super、Nano 和 Edge。Super 给你最高的保真度，它是一个前沿模型。”
“Nano 介于两者之间，更小，更容易用你手头的各种 GPU 资源做后训练。”
“我们希望确保它在边缘设备上运行得非常好，比如 Jetson Thor、Orin 或 DGX Spark。”
-
Edge 的核心逻辑是让世界模型运行在机器人所在之处，避免关键动作依赖数据中心往返：Edge 版本不只是为了降低算力门槛，而是为了满足真实部署中的可靠性和时效性要求。Ming-Yu Liu 指出，当机器人需要采取行动时，不应依赖到数据中心的网络往返，因为实际场景中网络连接可能不够好，而有些任务具有时间敏感性或关键性。Edge 被设计得足够小、又足够强大，可以在边缘设备上本地运行。
“我们构建这个版本的原因是，我们希望世界模型生活在机器人生活的地方。”
“这样当你需要采取某个动作时，就不必往返数据中心。我认为这在真实部署中很重要，你可能无法指望网络连接好到足以完成所有任务。而且有时候它是敏感的、关键的，你必须在特定时间完成任务。”
-
模型、代码和部分训练数据全部开放，托管在 Hugging Face 和 GitHub 上以服务物理 AI 开发者生态：Cosmos 3 的开放策略覆盖模型权重、代码以及部分自建训练数据。模型和数据托管在 Hugging Face，代码托管在 GitHub 仓库 github.com/NVIDIA/cosmos，作为统一入口可以链接到模型、数据集、训练代码和后训练脚本。Ming-Yu Liu 明确表示，这样做的目的是帮助生态系统和广泛的物理 AI 开发者。
“我们所有的模型都是开放的，所有的代码，甚至我们创建的部分训练数据也是开放的。模型和数据放在 Hugging Face，代码放在 GitHub 仓库。”
“我们有 github.com/NVIDIA/cosmos 作为落地仓库。从那里你可以看到指向 Hugging Face 模型、数据集以及训练代码、后训练脚本的链接。”
“我们构建 Cosmos 是为了帮助生态系统，帮助广泛的物理 AI 开发者。”
总结
Cosmos 3 的真正意义不在于它生成了更逼真的视频，而在于它把动作、观察和策略放进了同一个闭环里。当神经模拟器能够以足够可靠的排名筛选策略，当人类视频能够迁移到机器人学习，物理 AI 的开发就不再受限于真实设备和测试场地的数量。这意味着人形机器人进入家庭的速度，可能比我们想象得更快，而安全验证的瓶颈正在被算力而非物理空间所突破。
信息源
视频来源
- How Physical AI Learns Across Language, Video and Action — Ming-Yu Liu：
外部资料
- At SIGGRAPH, NVIDIA Advances Graphics and Simulation With ...：
- NVIDIA Releases Cosmos 3 Edge: A 4B-Parameter Open World Model ...：
- Japan's Robotics and Manufacturing Leaders Build on NVIDIA Cosmos ...：