AREX Viewpoint Article
物理AI如何让医疗机器人学会自主手术？
导读
2026年7月22日，NVIDIA开源了首个GPU加速的医疗物理仿真框架，让手术机器人在接触患者前获得虚拟临床经验。该框架允许开发者生成解剖数字孪生并模拟器械与组织交互，把仿真从技术愿景变成可获得的开发基础设施。对于受严格监管、难以在真实手术中反复试错的医疗机器人行业，这标志着一个重要的时间节点。
这一进展把今年GTC 2026上宣布的“仿真优先”方向推向执行层。NVIDIA当时提出将Physical AI扩展至医疗机器人，但更多是平台与生态展示；直到7月开源工具链落地，开发团队才真正拥有可复用的物理仿真能力。回看GTC SJ 2026医疗机器人专场视频，它的价值不再是会议资讯，而是解读这套工具背后的工程逻辑与临床约束。
视频首先回应了为什么必须仿真优先。演讲者指出，医疗机器人的瓶颈不在算法而在数据：真实手术视频难以覆盖长尾场景，获取、整理和标注成本极高。世界基础模型与生成式物理可以创建物理精确的合成数据，弥合真实数据缺口；Moon Surgical等团队已经用Cosmos Transfer把真实手术视频转化为不同皮肤、铺单、照明条件下的合成场景，在进入手术室前大规模测试。
视频进一步说明，仅有仿真管道不足以让机器人自主操作。手术手势本体论被强调为“语言基石”：将复杂手术分解为标准化手势词汇，视频语言动作模型才能理解手术阶段并调度运动。研究团队的分层策略把手术分解为语言规划与运动执行，通过数百次专家演示让机器人学会缝合，并在缝线意外掉落时自主修复，表现出抗干扰的“人类级”韧性。
这些工程方法最终服务于一个克制的商业化节奏。视频明确主张“爬-走-跑”：先从摄像头控制、组织牵引等低风险辅助功能切入，利用模拟生成海量配置数据进行安全验证，再逐步提升自主性。这解释了NVIDIA为什么要开源医疗物理仿真框架——它把原本只能靠数万次真实手术完成的验证，变成可在仿真中批量完成的配置测试。
因此，这条视频在当前的价值，是把一个平台发布翻译成可评估的技术判断：仿真优先的价值不在于渲染逼真，而在于用合成数据弥合长尾缺口、用手势本体赋予机器人语言、用模仿学习获得对意外的稳健性，并沿着低风险路径积累临床信任。这正是理解NVIDIA医疗机器人战略时，最容易被参数发布掩盖的部分。
核心结论
- 全球医疗供需危机是推动机器人从“辅助”走向“自主”的根本驱动力：未来十年手术病例数将翻倍，而外科医生数量严重不足，单纯依靠手动或远程操作已无法满足需求。赋予机器人更高的自主性，是降低并发症、扩大专家手术覆盖范围并系统性应对病例激增的唯一可规模化路径。
- “仿真优先”设计正在颠覆传统开发流程，合成数据成为弥合长尾缺口的关键：物理人工智能在医疗领域的核心瓶颈是数据而非算法。利用世界基础模型和高保真数字孪生生成物理精确的合成数据，使得在进入手术室前就能进行大规模测试，从根本上降低了临床风险并加速了产品迭代。
- 手术手势本体论是自主手术的“语言基石”，决定了机器人理解与操作的能力边界：将复杂手术流程分解为标准化的手势词汇，是视频语言动作模型的核心驱动力。没有这一基础，机器人就无法像人类一样理解手术阶段并执行缝合、打结等精细操作，分层策略的自主规划也无从谈起。
- 基于模仿学习的分层策略让机器人具备了抗干扰的“人类级”手术韧性：仅需数百次专家演示，机器人就能学会精细操作，并在缝合线意外掉落等干扰下自主修复并完成任务。这种对突发状况的稳健应对能力，是自主手术从实验室走向临床的关键实证突破。
- 商业化落地必须遵循“爬-走-跑”节奏，从低风险辅助功能切入以积累安全信任：在受严格监管的医疗环境中，全流程自主手术的愿景需要务实的落地路径。优先实现摄像头控制、组织牵引等低风险辅助功能，并利用模拟生成海量配置数据进行安全验证，是平衡技术雄心与现实约束的唯一可行策略。
观点拆解
1. 医疗机器人正从“辅助工具”转向“自主操作”，以应对全球医疗供需危机
-
全球医疗系统正面临供需危机，未来十年手术病例数将翻倍：演讲者明确指出，医疗保健系统正面临严重的供需危机，并预测未来十年内手术病例数将翻一番。这一趋势构成了推动医疗机器人从辅助工具向自主操作转型的根本驱动力，因为仅靠现有外科医生数量已无法应对激增的手术需求。
“医疗保健系统面临供需危机；而根据我们的假设，机器人技术可以极大地帮助解决这个问题。”
“我们预测，在未来的10年里，病例数将翻一番。因此，作为工程师，我们确实需要提供技术支持来应对不断增加的病例量。”
“骨科医生数量不足，无法满足老年人口的需求，必须采取一些措施。”
-
赋予机器人更高的自主性是应对病例激增、减少并发症的关键路径：当前手动和远程机器人辅助手术高度依赖外科医生的个人经验与技能，难以规模化。行业愿景是通过增强手术关键环节的自主性，降低并发症发生率，让更多患者获得专家级手术，从而系统性地应对不断攀升的病例量。
“手动和远程机器人辅助手术当然很大程度上取决于手术医生的经验和技能。我们的愿景是增强这种手动操作的手术的关键部分，使其具备更高的自主性。这可以减少并发症，使更多人能够获得专家手术，并有助于应对不断增加的病例量。”
“腹腔镜手术中的这些自主功能将在未来几年内实现。令人兴奋的是，Moon Surgical 已经拥有了摄像头控制功能，而其他风险较小的技术，例如吸力保持、组织牵引和端口放置，则可以进一步实现。”
-
自主化不仅限于软组织手术，硬组织骨科机器人同样面临物理层面的变革需求：过去二十年，软组织机器人技术占据主导地位，但骨科等硬组织领域同样面临医生短缺的困境。演讲者强调，解决这一问题需要在物理层面做出改变，而非简单的软件改进，且硬组织机器人的架构与软组织机器人截然不同，这为自主操作开辟了新的技术战场。
“本次会议的主题是物理层面，需要采取一些措施，但这并非简单的软件改进，而是需要在物理层面做出一些改变，才能真正应对这个即将到来的问题。”
“过去二十年里，软组织机器人技术占据了主导地位。而我们现在关注的是硬组织机器人技术，包括脊柱、长骨和关节等硬组织。在硬组织领域，机器人架构与软组织机器人截然不同。”
2. “仿真优先”设计正在颠覆传统医疗机器人开发，通过合成数据弥合长尾数据缺口
-
物理人工智能在医疗机器人领域的核心瓶颈是数据，而非算法：演讲者明确指出，对于物理人工智能而言，主要挑战在于数据的获取、整理与标注。当前行业面临的根本问题不是模型能力不足，而是缺乏经过良好整理和注释的数据集，这直接限制了模型在真实医疗场景中的表现。
“但对于物理人工智能而言，大家都知道主要挑战在于数据，对吧？”
-
合成数据生成与仿真正在成为弥合长尾数据缺口的系统性方法：演讲者提出了一套从数据整理、缺口识别到合成数据生成的完整方法论。当真实世界数据不足以覆盖所有临床场景时，利用合成数据生成和模拟来填补长尾数据缺口，是实现模型部署的关键路径。
“你明白自己缺少什么，或者根本没有什么。然后，你就可以着手弥合数据缺口，也就是长尾数据缺口，并利用合成数据生成和模拟来弥合这一缺口。”
“如果你有真实世界的数据，那就太好了。如果你不这样做，你还有另外两条路可走。生成数据，就像我们之前讨论过的 Cosmos 等模型一样……或者模拟数据，用传统的方式，用第一原理的方式求解偏微分方程。”
-
世界基础模型与生成式物理正在从根本上改变医疗机器人的仿真保真度：演讲者强调，来自其他行业的三大技术变革正在被引入医疗机器人领域：无需求解物理方程即可创建物理精确数据的世界基础模型、具备可解释推理能力的基础模型，以及加速仿真并提升保真度的技术。这些变革共同构成了“仿真优先”设计的技术基石。
“所谓基础模型，是指无需解决物理问题就能创建物理上精确的数据，对吧？这或许是我们解决仿真保真度问题的一种方法，对吧？生成式物理学。”
-
Moon Surgical 通过 Cosmos Transfer 将真实手术视频转化为多样化合成数据，以覆盖不同临床场景：Moon Surgical 展示了如何利用 Cosmos Transfer 将真实世界的手术视频转化为合成版本，通过改变皮肤状态、手术单、照明条件等变量，在不实际进行手术的情况下生成多样化的临床场景数据，从而丰富训练数据集。
“上面的视频是真实录制的视频，而下面的视频是经过微调的 Cosmos 传输生成的合成视频。所以有些不同之处，比如病人皮肤上没有血迹，皮肤发生了变化，轮廓不同，手术单也不同，照明电缆的照明方式也不同。这样一来，我们就能够在不必实际进行这些操作的情况下，生成不同的临床场景。”
3. 手术手势本体论是通往自主手术的“语言基石”，决定了机器人的理解与操作能力
-
手术手势本体论是视频语言动作模型的核心驱动力，没有它自主手术无从谈起：Filippo Filicori 指出，创建手术程序的本体论需要集合既懂外科又精通计算机视觉和运动学的专家，而手术手势正是这一本体论的关键。因为所有手术手势构成了视频语言动作模型等自主系统的真正动力来源，这意味着机器人理解手术并执行动作的基础，完全建立在对这些标准化手势词汇的定义之上。
“为了创建手术程序的本体论，你需要把很多外科医生聚集到一起。既聪明又精通本体论的外科医生，了解计算机视觉模型、运动学和自主手术的最终应用案例。”
“手术手势是关键，因为基本上所有的手术手势都是视频语言动作模型等等的真正动力。”
-
视频语言动作模型的实际表现验证了手势本体论的重要性：Filicori 通过展示外科实习生操作缝合的案例，对比了 Axel 和 Nvidia 团队使用视频语言动作模型所取得的成果。缝合是机器人能完成的最复杂操作之一，而该模型的表现进一步证实了手势本体和手势词汇在实现精细自主操作中的基础性地位。
“实际上，缝合是你能用机器人完成的最复杂的事情之一。你看这位外科实习医生犹豫了多久。你知道，这是 Axel 和 Nvidia 团队完成的一项了不起的工作，他们使用了视频语言动作模型，这进一步证实了手势本体和手势词真的非常重要。”
-
分层策略将手术分解为子任务，依赖语言策略理解手术阶段并指导执行：Axel Krieger 介绍了他们在胆囊切除术研究中的分层框架：先将整个手术过程分解为不同的子任务，再由高级语言策略根据视频历史判断当前手术阶段和修正需求，最后输入到低级策略中执行具体动作。这一架构表明，机器人实现自主手术的前提，正是将手术流程转化为可被语言策略理解和调度的结构化任务，而这正是手术手势本体论所支撑的。
“现在我们将整个手术过程分解成不同的子任务，首先有一个高级语言策略，它会查看视频的历史记录，然后找出我们当前正在进行的手术阶段，以及是否需要进行任何修正，然后将其输入到一个语言条件化的低级策略中，以便执行并找到相关的运动学数据。”
4. 基于模仿学习的分层策略让机器人具备了抗干扰的“人类级”手术韧性
-
模仿学习仅需数百次专家演示，即可让机器人高保真地掌握手术技能：Axel Krieger 团队的研究表明，基于模仿学习的框架不需要海量数据就能取得突破。通过仅仅几百次专家演示，机器人就能学会拾取针头、交接、提起组织等精细操作，并在打结等复杂任务中达到100%的成功率。这证明了模仿学习在医疗机器人领域的高效性和可行性，为快速迭代和扩展手术技能铺平了道路。
“仅仅通过几百次专家演示，我们就能够证明我们可以高保真地执行其中一些专家演示程序。”
“中间你知道100%的成功率，针头拾取和交接，然后提起组织，这是最简单的任务，你知道100%的成功率。”
-
基于学习的手术策略具备“人类级”的抗干扰能力，能自动修复意外错误：与传统的顺序编程不同，模仿学习赋予机器人的不是僵硬的指令序列，而是一种对任务的深层理解。这带来了极强的稳健性：在演示中，当缝合线被意外从夹持器上碰掉时，机器人没有卡住或报错，而是自主识别状态变化并自动修复，最终完成任务。这种应对突发干扰的能力是自主手术走向临床的关键。
“这不是顺序编程的，所以它对干扰非常稳健。所以在这里，我们把缝合线从夹持器上碰掉了，它会自动修复，你知道，完成任务。”
-
分层策略将手术分解为“语言规划”与“运动执行”，实现复杂任务的完全自主：为了应对胆囊切除术这类长程复杂手术，研究团队设计了一个分层策略。该策略将手术分解为子任务：一个高级语言策略负责分析手术视频历史，判断当前阶段并决定是否需要修正；一个低级运动策略则根据语言指令生成具体的机器人动作。这种架构使得机器人能在无人干预的情况下，自主完成夹闭、切断胆管和胆囊动脉等关键步骤，甚至在初次夹闭失败时进行调整。
“现在我们将整个手术过程分解成不同的子任务，首先有一个高级语言策略，它会查看视频的历史记录，然后找出我们当前正在进行的手术阶段，以及是否需要进行任何修正，然后将其输入到一个语言条件化的低级策略中，以便执行并找到相关的运动学数据。”
“在我们的研究中，完全自主不需要任何干预。你可以看到一些调整，比如最初没能夹住胆管，这时用钳子夹住三个夹子，然后换成剪刀，自主地切断胆管，然后在右侧对胆囊动脉也进行同样的操作。”
5. 硬组织机器人将打破软组织机器人的专有封闭生态，走向“与器械无关”的通用操作
-
硬组织机器人采用与软组织截然不同的架构，打破了专有封闭生态：过去二十年，手术机器人领域由软组织技术主导，但其架构高度依赖专有工具。硬组织机器人（如脊柱、关节手术）则采用了全新的技术路径，其上半身人形结构通过双臂与视觉臂的同步协作，实现了与器械和植入物的无关性，从而摆脱了专有生态的束缚。
“过去二十年里，软组织机器人技术占据了主导地位。而我们现在关注的是硬组织机器人技术，包括脊柱、长骨和关节等硬组织。在硬组织领域，机器人架构与软组织机器人截然不同。”
“我们带来了一种前所未有的上半身人形结构，这意味着两条机械臂与第三条手臂（即视觉臂）同步，这样你就可以拥有你非常熟悉的、每天都在使用却不自觉的人体结构，比如系鞋带这样简单的动作。”
-
“与器械无关”的通用操作能力让机器人像人类一样灵活使用任何工具：硬组织机器人的核心突破在于其“与器械和植入物无关”的特性。它不再局限于使用特定的专有工具，而是能够像人类一样，拿起任何工具并在一秒内完成校准和操作。这种通用性极大地提升了手术的灵活性和经济性，是当前软组织机器人所不具备的能力。
“其中一个关键要素是与仪器和植入物无关。这是什么意思？能够操作任何工具，而不仅仅是我们所知的专有工具，这相当于如果我给你30种不同的记号笔或钢笔，你都能操作它们。完全没问题。你拿起它，一秒钟之内就能完成校准并操作它。在机器人技术，特别是心脏组织机器人领域，目前还不存在这种能力。”
6. 新一代手术模拟将从“逐像素渲染”进化为基于物理的实时交互生成
-
现有手术模拟器仍停留在“逐像素渲染”的传统模式，缺乏真实的物理交互：Filippo Filicori 指出，即便是目前最先进的手术模拟产品，其底层逻辑依然是逐像素渲染画面，而非实时计算组织与器械之间的物理互动。这种视觉层面的模拟无法真正复现手术中的力学反馈，限制了培训的深度和有效性。
“这是一个很棒的产品，但它仍然像一个模拟，每个像素都是逐像素渲染的，我们真的认为我们可以做得更好。”
-
新一代模拟方法将利用生成式AI，从手术第一帧生成真实值并实时驱动物理交互：Filicori 团队正在构建一种全新的模拟范式：不再逐帧渲染，而是根据手术初始画面创建真实值，再结合运动学数据实时模拟组织与工具的交互。这种方法已催生出 Gshian 等物理模型，并借助 Cosmos 世界模型生成高度逼真的视频，用于策略测试，标志着手术模拟从“视觉复现”向“物理生成”的代际跨越。
“我们的想法是，与其逐像素渲染所有内容，不如先根据手术的第一帧创建一个真实值，然后利用运动学数据来模拟与组织的交互。”
“在 Cosmos 上进行的，我们训练了一个基于开放时代的世界模型，您可以看到始终存在的视频对。左边是原视频，右边是人工智能生成的视频。真是太令人兴奋了，我们可以让它如此逼真，这有助于我们进行政策测试。”
-
推动模拟技术进化是为了解决外科培训中“在真人身上练手”的伦理困境：Filicori 直言，当前模拟技术在外科培训中远未得到充分利用，导致新手医生不得不在真实患者身上完成学习曲线，这既不公正也不道德。正是这一伦理痛点，驱动着团队将新一代物理模拟技术推向专业化生产，为外科培训生创造更安全、更充分的学习环境。
“不管你信不信，模拟技术在外科培训中还没有得到充分利用。所以那些真正给病人做手术的人，他们会和我一起坐在操作台前，学习如何给真人做手术。这不公平。这不道德。所以，我们才努力想把这件事做得更好。”
7. 医疗机器人的商业化落地遵循“爬-走-跑”节奏，优先从低风险辅助功能切入
-
医疗机器人商业化必须遵循“爬-走-跑”的渐进节奏，从低风险辅助功能切入：在受严格监管的医疗环境中，全流程自主手术虽然愿景宏大，但商业化落地必须从患者风险最低的环节起步。Moon Surgical 明确将“爬行、行走、奔跑”作为产品迭代框架，优先瞄准优化部署等不直接接触患者的辅助功能，在积累足够的安全验证后再向更高级的自主任务推进。
“我非常喜欢 Axel 的缝合机器人，但在受监管的环境中，这其中存在着爬行、行走、奔跑的环节。我们首先瞄准的是患者风险较低的领域。”
-
当前落地的自主功能聚焦于摄像头控制、组织牵引等低风险辅助操作：Axel Krieger 指出，手术流程层面的完全自主还需要时间才能成为产品，但腹腔镜手术中的自主子功能将在未来几年内实现。Moon Surgical 已率先实现摄像头控制功能，而吸力保持、组织牵引和端口放置等风险较低的技术是下一步商业化的重点方向。
“手术流程层面的自主性还需要一段时间才能成为一种产品，但我认为腹腔镜手术中的这些自主功能将在未来几年内实现。令人兴奋的是，Moon Surgical 已经拥有了摄像头控制功能，而其他风险较小的技术，例如吸力保持、组织牵引和端口放置，则可以进一步实现。”
-
利用模拟生成海量配置数据，在不增加临床风险的前提下加速安全验证：Moon Surgical 通过 Isaac for healthcare 模拟平台，将 Maestro 系统嵌入虚拟环境，生成合成数据并结合真实世界数据进行训练，从而模拟大量不同的手术配置。这种方法避免了通过数万次真实手术来验证系统的不可行路径，为低风险功能的快速迭代和安全评估提供了可扩展的技术基础。
“我们正在用 Isaac for healthcare 模拟，Maestro 嵌入在模拟环境中。然后我们生成合成数据，并使用真实世界的数据进行训练，以生成和模拟大量不同的配置。你知道，我们不想也不必做到进行 5 万次手术来模拟 5 万次手术的地步，庆幸的是，我们现在有了实现这一目标的工具。”
“您会欣赏我们能够根据床的位置、角度、床的高度、床单的颜色以及我们在临床环境中会看到的各种不同配置来移动系统。”
总结
医疗机器人的叙事正在发生根本性转变：它不再是一个关于更精准机械臂的故事，而是一个关于“自主性”的故事。这场变革的底层逻辑，是用合成数据和物理仿真替代对海量真实手术的依赖，用手术手势本体论为机器赋予理解手术的语言，再用模仿学习让它具备应对意外的类人韧性。但真正值得传播的，不是技术参数的堆砌，而是一个更深刻的判断——当全球医疗供需的裂口持续扩大，赋予机器人有限的自主权，已不再是技术野心，而是对“不让患者在等待中失去机会”这一伦理命题的务实回答。
信息源
视频来源
- GTC SJ 2026: Physical AI for Healthcare Robotics - Simulation-First Design & Accelerated Development：
外部资料
- NVIDIA Open Sources First GPU-Accelerated Medical ...：
- Developing Healthcare Robotics with GPU-Native Medical ...：
- Nvidia unveils new simulation framework for surgical robotics：
- NVIDIA and Global Robotics Leaders Take Physical AI to ...：
- Physical AI for Healthcare Robotics—Part 1: Simulation ...：