AREX Viewpoint Article
从感知到行动：NVIDIA描绘的医疗AI物理革命
导读
2026年3月的GTC大会上，NVIDIA宣布面向医疗机器人开放物理AI模型，手术机器人领域的CMR Surgical和强生医疗科技等头部企业被列入合作名单。这一动作把“医疗AI正在从屏幕走向手术台”的判断，从技术叙事变成了一次具体的行业集结，也让在大会上由NVIDIA发布的“Healthcare Reimagined”主题演讲具备了即时解释价值。
这场视频演讲的起点，是医疗AI必须从“感知智能”跨入“物理行动智能”。NVIDIA在演讲中明确区分了两个阶段：AI已经能够理解、听见、观察并协助，但当前转折点在于AI还要在物理世界中行动。这个区分之所以重要，是因为医疗护理本质上是物理交付的——无论数据、传感器和设备如何数字化，最终照护仍要由人或机器在真实环境中完成。视频没有停留在口号上，而是直接指出环境排列组合、设备差异和手术程序类型构成了对模拟平台的刚性需求。
视频最核心的方法论是“数据飞轮”。它解决了医疗物理AI被长期卡住的长尾问题：没有任何一位外科医生或一家医院能覆盖所有病例，因此不能只靠真实世界数据。演讲提出以真实数据预训练，通过基于物理规律的模拟引擎生成合成数据，再持续后训练。演讲还具体到NVIDIA发布的OpenAGE数据集——750小时手术数据、11种机器人形态、35家合作伙伴，以及完全开源的GR00T-H动作策略模型，以此证明开源不是口号，而是一套可以被中小机构直接使用的公共训练基础。这解释了GTC公告中“开放物理AI模型”的实质：开放的不只是模型权重，而是从数据、策略到仿真工作流的入口。
视频对“现在为什么重要”给出了一个更硬的答案：边缘算力的代际预留。它把IGX Thor的8倍算力提升和Holoscan 4.0的实时闭环控制，解释为不是为了让当前简单检测跑得更快，而是为了给未来的视觉语言动作模型（VLA）在边缘设备上运行预留时间窗口。这一判断直接影响医疗机构和设备商现在如何采购、如何设计平台，而不是等到模型成熟后再更换硬件。视频由此把发布会上的单点更新，转换为一个可执行的部署决策框架。
视频还展示了技术框架从手术室向医院全场景溢出的路径。它称手术机器人是物理AI的“终极考验”，但同一套数字孪生组装、数据倍增、策略训练与测试流程，已通过Project Rio蓝图扩展到医院自动化，人形机器人Perry在Advent Health的实验被作为真实部署验证的例子。这使视频的价值不止于解释一次发布，而在于说明医疗AI的行动能力正在越过手术机器人这个高难度样本，进入更日常的护理和运营场景。
因此，这段视频为外界理解GTC 2026的医疗机器人发布提供了发布会通稿之外的判断依据。它把“开放模型+手术机器人合作”的消息放回技术架构、数据来源和算力路线中，读者能够看到的不只是谁参与了，而是参与者需要接受的新竞争规则：靠私有数据封闭迭代的路径正在被开源飞轮、合成数据与边缘算力预置所替代。这正是视频在当前节点值得被重新观看的原因。
核心结论
- 医疗AI正经历从“数字诊断”到“物理行动”的根本性范式转移：AI的角色已从影像分析和辅助诊断，演进到直接参与手术、护理和医院运营。这一转变意味着AI必须理解并作用于物理世界，而不仅仅是处理数字信息，这是医疗AI发展路径上的一个决定性转折点。
- “数据飞轮”是破解医疗物理AI长尾难题的唯一可行路径：任何单一医院或外科医生都无法覆盖所有病例和极端情况，因此物理AI必须依赖“真实数据预训练+合成数据增强+持续后训练”的飞轮模式。通过基于物理规律的数字孪生环境生成多样化合成数据，才能提升手术机器人等模型在罕见场景下的鲁棒性和泛化能力。
- 开源大规模数据集与策略模型正在打破医疗机器人的技术垄断：NVIDIA发布的OpenAGE数据集（750小时、11种形态、35家合作伙伴）和完全开源的Groot H动作策略模型，为行业提供了稀缺的公共训练基础。这使得中小机构和学术团队无需从零开始，即可获得比通用模型更优的手术机器人性能，加速了整个行业的创新进程。
- 边缘算力的代际跃升是为未来大模型部署预留的战略空间，而非单纯追求速度：IGX Thor提供的8倍算力提升和Holoscan 4.0实现的实时闭环控制，其真正价值不在于加速当前简单的检测任务，而在于为未来更复杂的视觉语言动作模型（VLA）在边缘设备上运行创造条件。低延迟的本质是为模型复杂度的代际增长预留时间窗口。
- 物理AI的技术框架正从手术室向医院全场景自动化溢出：以手术机器人作为“终极考验”建立的核心工作流——数字孪生组装、数据倍增、策略训练与测试——具有跨场景的通用性。通过Project Rio等蓝图，这套技术框架已开始应用于医院自动化场景，人形机器人Perry在Advent Health的实验标志着医院自动化正从概念走向真实部署。
观点拆解
1. 医疗保健正从“感知智能”迈向“物理行动智能”的转折点
-
医疗AI正从“观察与理解”跨越到“在物理世界中行动”：演讲者明确指出，人工智能已经超越了扫描仪和诊断辅助，进入了能够理解、听见、观察并协助的阶段，而当前正处在一个转折点——AI不仅能看到和感知物理世界，还能在物理世界中行动。这意味着医疗AI的角色将从信息提供者转变为直接参与手术、护理和医院运营的行动者。
“人工智能已经超越了扫描仪，进入了可以理解、听见、聆听、观察、协助的房间，这就是智能人工智能的时代。而我们今天正处于一个转折点。”
“人工智能时代，人工智能不仅能够看到、感知物理世界，还能在物理世界中行动。我们将在各种具体形式中看到这一点。”
-
护理本质上是物理交付的，这决定了医疗保健必须拥抱物理AI：尽管医疗行业拥有海量的数字化数据、传感器和设备，但护理服务最终是通过物理方式提供的。医院环境的复杂性、设备种类的多样性以及手术程序的差异性，共同构成了对物理人工智能的刚性需求。这一现实论证了为什么AI必须从数字世界走向物理世界，才能真正解决医疗保健的核心问题。
“虽然所有这些数据、所有这些传感器、所有这些设备都可以数字化，但护理实际上是通过物理方式提供的。”
“环境的排列组合、各种设置、不同的设备、各种程序类型都表明，我们需要投资于模拟平台，使这些机器人能够在新的环境中学习，获得新的技能，并在真正部署到现实世界之前进行练习。”
-
物理AI的成功依赖“数据飞轮”：从真实数据出发，以合成数据扩展边界：物理人工智能面临一个根本性挑战：没有任何一家医院或外科医生能够覆盖所有病例和极端情况。因此，必须建立“数据飞轮”机制——以真实世界数据为基础训练模型，再通过经典模拟、神经模拟和强化学习等技术生成海量合成数据，在持续循环中提升模型的稳健性和覆盖范围。这不仅是数据量的问题，更是质量和多样性的问题。
“要让物理人工智能真正发挥作用，就必须进行数据飞轮式的投资。它必须从真实世界的数据开始，因为你必须将这些模型建立在我们所处世界的物理现实之上……但接下来会有一个持续的训练后循环，并生成大量的合成数据。”
“没有哪个外科医生、哪家医院能够接诊所有病例。所以，我们可以开始依靠这些模拟引擎来生成合成数据，从而带来多样性，进而提高这些人工智能模型的稳健性和透明度。”
2. “数据飞轮”是解决物理AI在医疗领域长尾问题的关键路径
-
物理AI必须依赖“真实数据预训练+合成数据增强+持续后训练”的飞轮模式：演讲者以自动驾驶类比，指出任何单一机构都无法覆盖所有极端情况，因此物理AI不能仅靠真实数据。它必须从真实世界数据起步进行预训练，然后进入一个持续的训练后循环，通过模拟引擎生成大量合成数据来覆盖长尾场景，从而提升模型的鲁棒性和泛化能力。
“要让物理人工智能真正发挥作用，就必须进行数据飞轮式的投资。它必须从真实世界的数据开始，因为你必须将这些模型建立在我们所处世界的物理现实之上，你会得到这些预训练模型，但接下来会有一个持续的训练后循环，并生成大量的合成数据。”
“没有哪个外科医生、哪家医院能够接诊所有病例。所以，我们可以开始依靠这些模拟引擎来生成合成数据，从而带来多样性，进而提高这些人工智能模型的稳健性和透明度。”
-
合成数据生成需要基于物理规律的数字孪生环境，而非放任模型产生幻觉：飞轮中的合成数据生成并非无约束的生成式AI。演讲者强调，必须构建基于物理学的、真实的人体解剖学数字孪生环境，利用Cosmos等工具进行可控的合成数据生成，确保模型学习到的世界状态尽可能接近现实，避免生成式AI产生幻觉。
“这些机器人必须与之交互的世界模型和世界状态，必须尽可能接近现实。因此，我们发布的Cosmos的第一个导数是转移。它允许生成可控的合成数据。你可以尝试从Isaac的同一个宇宙开始，构建基于物理学的、真实的人体解剖学数字孪生环境。所以，不是生成式人工智能开始产生幻觉，然后你可以对它进行外科手术式的移植，从而创造出那个世界的变体。那意义重大。”
-
飞轮模式通过模拟器加速策略验证，将开发周期从数周缩短至数小时：数据飞轮不仅用于生成训练数据，还用于加速策略评估。演讲者指出，在基于Cosmos的模拟器中评估机器人策略，可以模拟现实世界的性能排名，将原本在物理模型上需要数天甚至数周的验证过程，缩短到几小时内完成，并允许开发者深入分析策略失败的原因。
“像Grood Pi Zero和所有其他VAS这样的策略，当在这个基于Cosmos的模拟器中进行评估时，会模拟现实世界的性能排名。这确实大大加快了开发速度。想象一下，你必须在实验室的物理模型上验证每一项策略。那可是几天甚至几周的时间。这里有一个模拟器，一旦达到实时性能，几个小时内就能得到答案，速度甚至更快。”
3. NVIDIA通过三大技术支柱（世界模型、策略模型、物理模拟）构建医疗机器人基础平台
-
世界基础模型Cosmos是医疗物理AI的“环境理解引擎”，通过训练后处理适配手术场景：NVIDIA将Cosmos世界基础模型作为第一支柱，使其能够理解和生成复杂的医疗环境。团队对Cosmos进行专门的训练后处理，使其适用于手术场景和临床工作流程，为医疗机器人提供对环境的深度语义理解能力。
“第一个支柱是世界基础模型，像Cosmos这样的世界模型可以理解和生成复杂的医疗环境，这就是团队对Cosmos进行训练后处理，使其适用于医疗保健手术场景和临床工作流程的方法。”
-
Groot策略模型将感知与推理转化为机器人动作，开源发布加速医疗机器人技能泛化：第二支柱是机器人策略模型Groot和Groot H，它们采用视觉语言动作模型架构，通过宇宙推理引擎理解环境和意图，再由扩散转换器生成动作策略。Groot H在GTC上完全开源发布，使外科手术机器人获得了远超通用模型的性能表现。
“第二个支柱是机器人策略模型，例如在GTC上发布的Groot和Groot H，它们现在可以使这些机器人拥有可跨技能通用的策略，并且可以将感知和推理转化为行动。”
“Group H是完全开源的，可以在GitHub上开始使用，也可以从Hugging Face下载权重。这很棒，你有了真实世界的数据，训练了动作策略模型，这让我们获得了比Zero和任何通用VAS都好得多的性能。”
-
高保真物理模拟与神经模拟构成第三支柱，通过合成数据飞轮解决医疗数据稀缺难题：第三支柱是从经典加速计算模拟到神经模拟和生成式物理学的物理模拟能力。由于没有哪家医院能覆盖所有病例，NVIDIA依靠模拟引擎生成多样化的合成数据，形成从真实数据到合成数据的飞轮效应，提升医疗AI模型的稳健性。Cosmos的医疗衍生模型Transfer能够基于物理真实的人体解剖学数字孪生生成可控的合成数据变体。
“第三大支柱是物理模拟。我们拥有非常高保真度的模拟能力，从本质上是一个加速计算问题的经典模拟，到现在的神经模拟和生成式物理学。这些代理模拟引擎的性能已经非常接近真实世界的性能了。”
“没有哪个外科医生、哪家医院能够接诊所有病例吗？所以，我们可以开始依靠这些模拟引擎来生成合成数据，从而带来多样性，进而提高这些人工智能模型的稳健性和透明度。”
-
三大支柱统一集成于Isaac for Healthcare平台，以端到端工作流和传感器仿真库交付开发者：NVIDIA将世界模型、行动模型和模拟技术三大支柱锚定到Isaac for Healthcare平台中，作为Isaac机器人平台的医疗领域扩展。该平台包含传感器仿真库、合成数据生成管道、端到端工作流和开发者指南，并在GTC上发布了v0.5版本，提供超声波和X射线传感器仿真能力，让开发者能够快速构建医疗物理AI应用。
“这是一种将英伟达在我提到的三大支柱（世界模型、行动模型和模拟技术）中所做的所有技术基础转化为医疗保健行业用例的方法。”
“Isaac for healthcare v0.5传感器仿真库现已发布。”
4. 开源大规模手术机器人数据集OpenAGE与开源模型Groot H正在降低行业门槛
-
OpenAGE数据集是医疗机器人领域规模最大的数据发布之一，为行业提供了稀缺的公共训练基础：NVIDIA联合35家合作伙伴，发布了涵盖11种机器人形态、超过750小时手术数据的OpenAGE数据集。这一举措打破了医疗机器人数据长期被各厂商私有的壁垒，让学术机构和中小型企业首次获得了大规模、多形态的真实手术数据，从而无需从零开始采集和标注。
“最初只是一次对话，却演变成了医疗机器人领域规模最大的数据发布之一。超过35家合作伙伴，例如CMR surgical、moon surgical，涵盖11种不同的形式，以及超过750小时的医疗机器人数据。”
-
开源动作策略模型Groot H让手术机器人获得比通用模型更优的性能：基于OpenAGE数据集训练的Groot H模型，专门针对手术机器人场景进行了优化。与Zero等通用视觉-语言-动作模型相比，Groot H在手术任务中表现出显著更好的泛化能力。NVIDIA将其完全开源，开发者可以直接从GitHub和Hugging Face获取模型权重，大幅降低了手术机器人智能化的技术门槛。
“Group H是完全开源的，可以在GitHub上开始使用，也可以从Hugging Face下载权重。这很棒，你有了真实世界的数据，训练了动作策略模型，这让我们获得了比Zero和任何通用VAS都好得多的性能。”
-
开源模型结合仿真平台形成完整的开发工作流，加速手术机器人技能迭代：NVIDIA提供的不仅是开源模型，更是一套从预训练到后训练再到技能精调的完整工作流。开发者以开源Groot H为起点，通过Isaac SIM导入CT/MR解剖模型进行经典仿真，或利用Cosmos进行数据倍增，再借助Isaac Lab进行强化学习和模仿学习来掌握特定子任务。这种“开源模型+仿真平台”的组合，将原本需要数周的策略验证周期缩短至数小时。
“首先要使用我们之前提到的预训练Groot H模型，该模型是用我们发布的开放数据集训练的。所以，首先使用预训练的开源Groot H模型。”
“想象一下，你必须在实验室的物理模型上验证每一项策略。那可是几天甚至几周的时间。这里有一个模拟器，一旦达到实时性能，几个小时内就能得到答案，速度甚至更快。”
5. Holoscan 4.0与IGX Thor构成面向未来AI的实时边缘部署底座
-
Holoscan 4.0 通过 EtherCAT 与 GPU 全加速实现物理 AI 的实时闭环控制：Holoscan 4.0 被定位为物理 AI 的终极部署堆栈，其核心突破在于直接支持 EtherCAT 协议，使软件能够绕过中间环节直接控制机器人电机。同时，它实现了 GPU 驻留图形的完全加速，无需 CPU 干预即可完成从感知到控制的整个闭环，这为医疗机器人提供了极低延迟的实时响应能力。
“它是物理人工智能的终极部署堆栈。我认为它是物理人工智能的原生体现，这主要归功于三个关键特性。现在它支持 EtherCAT，允许您直接控制机器人的电机。”
“它允许在 GPU 上完全加速 GPU 驻留图形，无需 CPU 干预。”
-
IGX Thor 提供 8 倍算力跃升，为边缘设备运行 VLA 等未来大模型奠定硬件基础：IGX Thor 作为工业级边缘 AI 平台，其关键优势在于相比前代产品提供了八倍的计算能力。演讲者明确指出，当前设计边缘设备时必须考虑未来 AI 模型的需求，因为视觉语言模型（VLM）和视觉语言动作模型（VLA）等新一代大模型最终都将部署在边缘计算机上，而非云端。
“IGX 的解冻至关重要，因为它拥有八倍的计算能力，我希望大家都能记住这一点。我之前提到的所有关于 VLM、VLAS 和基于 Cosmos 的模型，所有这些人工智能最终都将部署在边缘计算机上。”
“您肯定希望您的 AI 平台和设备能够适应未来的 AI 时代。”
-
低延迟的真正价值不在于速度本身，而在于为运行更复杂的未来模型预留算力空间：针对外界对超低延迟必要性的质疑，演讲者重新定义了延迟的意义：极低的延迟预算不是为了满足当前简单任务的速度需求，而是为了在同样的时间窗口内运行远比卷积神经网络更复杂的模型。未来的医疗 AI 模型将是 VLM 和 VLA 这类多任务、具备推理能力的模型，而非仅执行单一检测任务的 CNN，Holoscan 正是为这种代际演进而设计的。
“我们使用 Holoscan 所做的就是，它具有光速延迟，然后有时你会听到，但我不需要它运行得那么快。这不是重点。关键在于，在这样的延迟预算下，你还能做多少事情？”
“未来的模型不是执行单一任务的检测型 CNN。他们是 VLM。他们是 VLA。所以你想让这些平台能够适应未来的发展。而 Holoscan 正是为此而建的。”
6. AI正从“成像后处理”进入“原始物理信号理解”的新范式
-
NVIDIA 正式提出“从原始数据到洞察”的新范式，将 AI 从成像后处理推进到物理传感器层面：演讲者在 GTC 2026 上首次公开了“Raw to Insights”概念，并发布了针对超声波的 NVIDIA RAW and Insights。这一技术路线主张 AI 应直接处理来自物理传感器的原始射频信号，而非依赖传统成像重建后的图像数据，标志着医学影像 AI 的角色正在发生根本性转变。
“这是你们第一次听到我们对人工智能的看法以及我们认为人工智能的发展方向。这是基于人工智能的物理传感器处理。因此，直接从传感器到侦察，你可以从原始射频信号中获得基于物理原理的人工智能。它可以实时进行自适应成像。”
“人工智能正在发展到能够理解和从原始物理现象中得出见解的程度，而且传感器处理中可能蕴含着比成像领域更丰富的见解。”
-
这一范式转移被类比为当年 CUDA 用于重建技术的创新时刻，具有里程碑意义：演讲者将当前 AI 进入原始物理传感器领域的变革，与 2005 年或 2017 年 CUDA 被用于重建技术的历史节点相提并论，认为这是又一次根本性的技术突破。其团队在 CMRxRecon 挑战赛中取得第一名的成绩，也验证了基础模型在跨扫描仪、跨协议场景下的鲁棒性。
“对于所有医疗器械开发商、研究人员以及所有思考重建技术创新方向的人们来说，我们真的认为现在就是像 2017 年或 2005 年 CUDA 被发现用于重建技术那样的创新时刻。现在是人工智能真正进入原始物理传感器领域的时刻了。”
-
AI 有望从原始信号中理解成像域之外的物理行为，但整体仍处于早期研究阶段：尽管前景令人兴奋，但演讲者坦承这项技术目前仍处于早期研究阶段。AI 能否从原始数据中理解声学行为等成像域之外的物理现象，还有待验证。不过，该领域的发展速度正在加快，预计将成为未来学术会议上的热点话题。
“我认为我们仍处于早期研究阶段，甚至无法断言，当我们传递原始数据时，是否能够开始理解声学行为以及成像域之外的行为？该领域的发展速度正在加快，我认为我们将能够展示发展前后的变化。”
“现在人工智能可以理解所有的传感器物理特性，它能够增强或预测……嗯，我认为这还有待确定，但我确实认为这将是某些学术会议上最有趣的话题之一。”
7. 物理AI的应用正从手术机器人向医院全场景自动化扩展
-
手术机器人是物理AI的“终极考验”，但其底层技术框架可复用于更广泛的医院自动化：NVIDIA将手术机器人视为物理AI技术最难攻克的场景，因此选择在此建立技术基础。但演讲明确指出，这套包含数字孪生组装、数据倍增、策略训练与测试的核心工作流，在原理上同样适用于手术室之外的医院自动化任务，这为技术从高精尖场景向通用场景溢出提供了逻辑基础。
“我们认为这是对物理人工智能最严峻的考验，因此我们希望将我们的技术基础应用于此。但这些基本原理也适用于外科手术机器人之外的其他领域。”
-
Project Rio蓝图将Isaac for Healthcare正式推向医院自动化，并定义了可复用的开发范式：在GTC大会上，NVIDIA通过名为Project Rio的蓝图，将Isaac平台的应用边界从临床设备与手术机器人，正式扩展至医院自动化领域。该蓝图提供了一套标准化的开发范式，引导开发者依次完成数字孪生组装、数据飞轮启动、策略训练与测试验证，使得不同场景下的机器人开发可以遵循同一套工程流程。
“在本次GTC大会上，我们真正将Isaac的应用范围从临床设备和手术机器人扩展到了医院自动化领域。里约项目就是那个项目。”
“但这本质上是一个配方，一个蓝图，开发人员今天就可以开始使用它来定义如何组装我的数字孪生体……一旦你组装好数字孪生体，你就可以开始数据飞轮……倍增数据……然后最终进行策略训练和循环测试，直到你确信该策略可以部署并应用于现实世界。工作流程是一样的。”
-
人形机器人Perry在Advent Health的实验证明，医院自动化已走出实验室进入真实部署验证阶段：演讲以人形机器人Perry为例，说明医院自动化并非停留在概念阶段。Perry的开发团队已全面采用Isaac for Healthcare和Cosmos的合成数据生成技术来加速研发，并正在与医疗机构Advent Health合作进行实验和评估。NVIDIA判断，2026年将是这类机器人面临真实部署挑战并进入部署时代的关键年份。
“他们已经完全接受了Isaac for Healthcare Cosmos Age的合成数据生成技术，以加速其人形机器人Perry的研发，并将其推向市场。他们一直在与Advent Health合作进行实验和评估。所以，这并非仅仅是实验室里的东西。”
“我认为我们分享的所有这些客户都已经走出了实验室，我们真的希望并坚信，2026年将是这些机器人面临部署挑战并迎来部署时代的一年。”
总结
医疗AI的竞争正在从“谁能更准地识别病灶”转向“谁能更稳地在物理世界中行动”。这场竞赛的胜负手不在于单一算法的优劣，而在于谁能构建起“数据飞轮+开源生态+边缘算力”三位一体的基础设施。NVIDIA的战略清晰表明：通过开源数据和模型降低准入门槛，通过合成数据飞轮解决长尾难题，通过超前布局边缘算力为未来大模型预留空间，最终目标是让AI从手术室走向医院每一个需要物理交互的角落。对于医疗行业而言，这意味着需要重新思考设备采购、数据战略和人才储备——因为当AI开始行动时，整个护理交付的链条都将被重构。
信息源
视频来源
- GTC SJ 2026: Healthcare Reimagined - Bridging Digital Intelligence and Physical Autonomy：
外部资料
- NVIDIA GTC 2026: Live Updates on What's Next in AI：
- NVIDIA GTC 2026: Agentic AI Inflection Hits Healthcare ...：
- NVIDIA and Global Robotics Leaders Take Physical AI to ...：