AREX Viewpoint Article
Transformer 不懂物理：为物理世界打造基础模型
导读
当语言模型还在为互联网数据的瓶颈争论时，物理世界AI的竞争已经转向一个更根本的问题：能不能不靠Transformer，直接预测真实世界的变化？路透社2026年8月25日报道，加州理工学院教授Anima Anandkumar与Benedikt Jenik拒绝了由Jeff Bezos支持的Prometheus项目，创办Accelerated Understanding，并称其模型在一次查询中处理了5万亿个数据点。这个数字让公司从隐身状态进入公众视野，但真正值得追问的不是“他们拒绝了什么”，而是“5万亿上下文为什么重要、以及它是如何实现的”。
Accelerated Understanding的公开亮相并未停留在创始人故事层面。公司官方页面与创始人LinkedIn帖子均强调其目标，是让AI模拟并理解物理世界以支撑发明和发现；Anandkumar也在公司上线后首次预告播客时明确表示，要解释“破纪录的5万亿上下文长度”以及为什么高分辨率4D预测对物理理解必不可少。这使9月4日发布的这段视频成为验证该公司技术主张的第一个公开窗口。
视频给出的第一个关键补充是，物理AI不能照搬语言模型的逻辑。Anandkumar在对话中解释，物理世界没有现成的互联网数据，而科学发现的本质是做出训练数据中不存在的新事物，因此纯数据驱动的方法不足以支撑科学发现。他们的替代方案是把偏微分方程等物理定律既用作数据生成器，又用作密集的训练信号。与语言模型依赖稀疏的人类反馈相比，物理定律数量多、反馈密，使模型有可能超越训练数据的平均质量。这一判断把公司从“又一个挑战ChatGPT的创业公司”区别开来：它的目标不是模仿文本，而是让模型在规律约束下进行自我改进。
这种路线选择的代价出现在架构层。视频中，两人解释了Transformer的二次复杂度为何无法支撑五万亿上下文：无论投入多少算力，都无法在物理系统的空间三维和时间展开中扩展。因此团队采用神经算子获得分辨率不变性，并重新设计了分片策略和训练基础设施，因为单个物理样本甚至无法放进一个加速器或完整节点。这些工程细节是视频相对于路透社简短报道的增量：它不再只是“非Transformer”标签，而是说明了从层内交互到状态保留需要重建哪些底层设施。
当技术路线被解释清楚后，商业落地的顺序也随之清晰。Anandkumar和Jenik指出，半导体设计与制造是物理基础模型最先兑现价值的领域。当前芯片设计把物理仿真当作一次性检查，只要满足工艺设计套件的最低要求就停止，而没有利用物理规律主动拓展设计边界。物理模型可以重新安排设计以释放性能空间，同时半导体制造过程本身也充满物理挑战。能源、地热与关键矿产勘探则构成第二波机会：这些任务本质上是从观测反推世界状态，模型足够通用后，多个应用会同时打开。
因此，这段视频之所以在当前值得关注，并不是因为它证明了5万亿上下文已经解决了物理理解，而是因为它把“离开Bezos支持的项目”这个叙事转化为可检验的工程判断。跨物理领域通用模型能否持续超过单一领域模型、物理定律能否真正带来超越数据质量的自我改进、以及在芯片设计中能否突破一次性仿真检查的限制，都是后续观察这家公司的核心标准。视频提供的正是这些判断背后的第一手解释，而非又一次发布声明的重复。
核心结论
- 物理AI的根本差异在于：物理定律本身就是超越数据质量的训练信号：物理世界没有现成的互联网数据，科学发现又要求超越已有数据。团队的核心创新是把偏微分方程等物理定律直接作为密集、客观的训练信号，使模型能够突破训练数据平均质量的限制，实现真正的自我改进。
- 跨物理领域的通用模型可以超越单一领域专用模型，证明底层结构可迁移：导管、火箭、半导体等看似迥异的系统共享流体动力学、能量守恒等底层原理。实验观察到通用模型在多个物理领域上的性能超过同等规模的专用模型，这为物理世界基础模型提供了最关键的可行性证据。
- 物理AI必须重新发明架构与基础设施，Transformer的二次复杂度无法支撑万亿级上下文：物理数据在三维空间和时间维度上独立增长，上下文规模可达五万亿级别。团队采用神经算子实现分辨率不变性，并重新设计分片策略和训练基础设施，这构成了物理AI区别于语言模型的核心技术壁垒。
- 半导体设计与制造是物理基础模型最先兑现商业价值的领域：当前芯片设计把物理仿真当作一次性检查，错失了用物理规律主动拓展设计边界的机会。物理模型可以重新安排设计以释放性能空间，同时半导体制造过程本身也充满物理挑战，这为物理AI提供了最直接的市场切入点。
- 物理模型的课程化训练比语言模型的互联网乱序数据更可控，也更接近人类学习方式：物理模型可以利用数值模拟器按需生成训练数据，并通过课程工程从简单方程和低分辨率开始逐步增加难度。这种有序的学习方式与语言模型下载整个互联网后随机打乱的训练形成鲜明对比，是物理AI在方法论上的独特优势。
观点拆解
1. 物理世界的基础模型不能只靠数据驱动，必须把物理定律作为核心训练信号
-
物理世界没有现成的互联网数据，纯数据驱动的方法不足以支撑科学发现：与语言模型可以下载整个互联网不同，物理世界缺乏现成的大规模真实数据。更关键的是，科学发现的本质是做出训练数据中不存在的新事物，因此仅靠数据驱动的人工智能在物理领域存在根本性局限。
“物理世界并没有一个现成的、包含所有这些物理数据的互联网。真实数据就是不存在。而且，如果你想想科学发现，它就是要做新的事情。所以，从定义上说，它不可能存在于训练数据中。因此，仅仅依赖纯数据驱动的人工智能是不够的。”
-
物理定律可以作为密集、客观的训练信号，实现超越数据质量的自我改进：团队的核心方法论创新在于：偏微分方程不仅可以通过数值模拟器生成训练数据，还可以直接作为训练信号来检验模型表现。这使得模型能够突破训练数据平均质量的限制，实现真正意义上的自我改进。
“有趣的地方在于，你可以用这些偏微分方程既通过数值模拟器生成数据，但如果你足够聪明，你甚至可以把它们用作训练信号。你可以检查我的模型在偏微分方程本身上的表现有多好，并把它作为一个额外的训练信号，这样你就突然处于一个可以超越数据质量的位置。”
“与语言模型相比，语言模型的自我改进需要人类反馈或其他奖励信号，这些信号非常稀疏，只告诉你对或错、赞或踩。而我们拥有密集的反馈，因为物理定律有很多条，你可以决定如何安排它们的课程，而且你从它们那里获得的反馈是密集的，所以这种自我改进可以做得更好。”
-
模拟器生成数据配合课程工程，让物理模型训练比语言模型更有序可控：与语言模型下载整个互联网后随机打乱的训练方式不同，物理模型可以利用数值模拟器按需生成训练数据，并通过课程工程从简单方程和低分辨率数据开始逐步学习。这种有序的训练方式更接近人类的学习过程。
“我们可以用模拟器生成所需的任意多的训练数据，甚至更进一步，我们可以做所谓的课程工程，意思是我们可以从简单的方程开始，从低分辨率、更简单的数据开始。这与语言模型的训练方式形成鲜明对比——语言模型下载整个互联网，那是一团巨大的混乱，被打乱得到处都是，有些是对的，有些是错的。”
2. 物理AI的自我改进比语言模型更有优势，因为物理定律提供密集而非稀疏的反馈
-
物理AI可以超越训练数据的平均质量，而不仅是模仿数据：Benedikt指出，普通学习只能达到训练分布的平均质量，但他们的目标是通过自我改进突破这一上限。物理定律既能用于生成数据，也能作为额外的训练信号，使模型有机会超越原有数据质量。
“学习达到的是训练分布的平均质量。我们想要超越这一点。这就是自我改进发挥作用的地方。”
“你可以检查模型在偏微分方程本身上的表现如何，并将其作为额外的训练信号，这样你就突然进入了一个可以推动模型质量超越数据质量的位置。”
-
语言模型的自我改进依赖稀疏反馈，而物理AI拥有密集反馈：Benedikt将物理AI与语言模型进行对比：语言模型的自我改进需要人类反馈或其他奖励信号，这些信号非常稀疏，只能给出是或否、赞成或反对的粗略判断。相比之下，物理定律数量众多，能够提供密集的反馈信号。
“与语言相比，区别在于语言的自我改进需要人类反馈或其他奖励信号，而这些信号非常稀疏。它们只告诉你对或错、赞成或反对。”
“我们拥有密集的反馈，因为物理定律数量众多，你可以决定如何安排它们的课程，而且你从它们那里获得的反馈是密集的，所以这种自我改进可以做得更好。”
3. 跨物理领域存在可迁移的共同底层结构，通用模型可以超越单一领域专用模型
-
看似迥异的物理系统共享底层原理，为跨领域迁移提供了基础：导管、火箭、能源、半导体和航空航天等领域表面上差异巨大，但它们都受流体动力学、能量守恒、因果性和时间演化等共同底层特征支配。即使控制方程不同，这些隐含的共性也足以让神经模型从中提取可迁移的表征。
“在导管里或在火箭里，流体动力学的原理是相同的；它们处于不同的状态，由雷诺数等参数来刻画，但它们之间确实存在某种共同的东西。”
“即使你说不同系统由不同的数学方程、不同的偏微分方程支配，它们为什么是共通的？仍然存在共性，比如时间上的变化、某种能量守恒、类似物体恒存性的特征、因果性，所以即使是由不同方程支配的物理系统之间，也隐含着大量共同特征。”
-
实验观察到“物理提升”效应：通用模型性能超过单一领域专用模型：团队在训练中对比了单一领域模型和加入通用模型后的表现，发现通用模型展现出明显的性能优势。这一观察直接支持了跨物理领域迁移学习的可行性，也说明通用模型并非只是多个专用模型的简单叠加，而是能够从多领域数据中获得额外增益。
“我们确实看到了那种物理提升效应的发生。我们之前提到过。我们训练了一些模型，起初只是想确认模拟器配置正确、能够正常训练，然后我们想，把它加到通用模型里试试。就我们在窄域模型和宽域模型中看到的性能特征而言，宽域模型全面胜出。”
4. 物理AI需要重新发明架构与基础设施，而非直接套用语言模型的Transformer
-
物理数据在三维空间与时间上独立增长，上下文规模远超语言模型：物理世界的数据不像语言那样只沿一维 token 序列增长，而是空间三维加时间维度同时扩展。团队选择不压缩、不降采样，直接建模完整的时间 rollout，导致上下文规模迅速达到万亿甚至五万亿级别，这是物理 AI 与语言模型在数据形态上的根本差异。
“语言有 token，而且这些 token 只在一个维度上增长。对我们来说，它是在更多维度上增长的。”
“空间在三个维度上增长，它不像视频模型那样被压缩，而是真正保持在那三个维度中，然后你还有随时间展开的 rollout。突然之间就是四个维度，而且这四个维度都独立增长，当你把这些数字乘起来，你很快就会达到数十亿甚至数万亿的上下文。”
-
Transformer 的二次复杂度无法支撑物理 AI 的超长上下文：语言模型中广泛使用的 Transformer 架构具有二次复杂度，即使投入无限算力也无法支撑五万亿上下文长度。物理世界具有比任意全连接相关性更强的结构，因此需要重新思考更适合物理规律的架构，而不是直接套用语言模型的方案。
“如果你考虑使用在语言上效果很好的 Transformer 架构，那它根本无法支持五万亿上下文长度，无论投入多少算力都不行。这种二次复杂度是不可行的，而且也是不必要的，因为物理世界比完全任意的全连接相关性具有更多结构。”
-
神经算子提供分辨率不变性，使模型能按需灵活调整上下文长度：神经算子是团队架构的核心，它使模型具备分辨率不变性，能够根据任务需求灵活提供不同的上下文长度。对于需要全部细节的复杂物理问题可以给出超大上下文，而对于设计探索等早期任务则不必浪费算力，这种灵活性是区别于固定分辨率视觉模型的关键优势。
“神经算子确实构成了这种分辨率不变性的基础。”
“那些最难的物理问题确实需要所有细节，我们可以给它大的上下文长度；而那些不需要那么多细节的任务，或者比如你在做设计探索时，一开始不需要每一个细节，你不需要烧那么多算力，所以这种灵活性至关重要。”
“视觉模型在训练和推理时都假设固定分辨率，对于游戏和娱乐来说这没问题，但对于工程设计和科学发现，我们不能用那些取巧的办法。神经算子是确保我们能够灵活提供不同上下文长度的关键。”
-
物理 AI 需要重新发明分片策略与训练基础设施：物理数据的样本规模远超语言模型，单个数据样本甚至无法放入单个加速器或完整节点。标准的 FSDP 分片技术要求在 GPU 内重新组装层，但物理模型的层太大无法做到这一点。团队因此重新设计了整个分片策略和训练基础设施，并完成了数百次训练运行，验证了方案的可行性。
“你可能听说过像 FSDP 这样的标准技术，你会做分片，但之后你需要在 GPU 里重新组装一个层来做训练。但我们的层太大了，你无法在 GPU 里重新组装它。我们的数据样本也太大了，它们放不进一个加速器，甚至放不进一个完整节点。所以我们不得不重新发明整个分片基础设施和整个分片策略，才能大规模训练这些模型。”
“我们不得不弄清楚如何放入一个放不进节点的样本。我们不得不弄清楚如何在一个层内进行交互，同时把状态保留在加速器中。所有这些技巧都需要相当多的扩展和相当多的基础设施工作。”
5. 模拟器生成的课程化训练数据比语言模型的互联网乱序数据更可控
-
物理模型可以用模拟器按需生成训练数据，而不是被动下载混乱的互联网数据：Benedikt Jenik 指出，物理模型的一个关键优势是可以利用数值模拟器生成所需的任意规模训练数据。这与语言模型训练时下载整个互联网、数据质量参差不齐形成鲜明对比，意味着物理模型的数据来源更可控、更可设计。
“我们可以用模拟器生成所需的任意规模训练数据，而且更进一步，我们还能做所谓的课程工程。”
“这与语言模型的训练方式形成鲜明对比：语言模型要下载整个互联网，那是一团巨大的混乱，被随机打乱，有些内容正确，有些内容不正确。”
-
课程工程让物理模型从简单到复杂有序学习，更接近人类的学习方式：Benedikt Jenik 强调，物理模型可以从简单方程、低分辨率和更简单的数据开始训练，逐步增加难度。这种有序的课程化学习方式比语言模型的无序训练更接近人类学习过程，也更有利于模型质量。
“我们可以从简单的方程开始，从更低分辨率、更简单的数据开始。”
“这不像人类的学习方式，有序地学习要好得多。所以我们能做到这一点，我们能利用数值模拟器构建自己的课程。”
6. 半导体设计与制造是物理基础模型最先落地的商业化方向
-
半导体和能源是物理基础模型最直接、最迫切的应用领域：团队将物理领域与可服务的行业分开看待，指出当前最需要改进、对所有人而言都至关重要的领域就是半导体和能源，而这恰好是物理基础模型能够直接发挥作用的范围。这为物理AI的商业化落地提供了清晰的市场切入点。
“如果你看那些当前显然非常受关注的领域，因为每个人都需要改进，对所有人来说最大的领域就是半导体和能源，而这些恰恰是我们的强项所在。”
-
当前芯片设计把物理仿真当作一次性检查，错失了用物理规律拓展设计边界的机会：现有芯片设计流程通常先冻结数字设计，再送入物理仿真做一次性验证，只要满足工艺设计套件的最低要求就停止。团队认为这种做法没有充分利用物理规律来主动推动设计极限，物理模型可以重新安排设计以释放更多性能空间。
“尤其是当你审视芯片设计本身时，它更多是先从数字设计开始，冻结数字部分，然后把它送进一些物理仿真做一次性检查。工艺设计套件规定我必须具备以下特征，否则台积电就不会为你制造。然后就到此为止了。”
“当你能够深入理解物理允许我做什么来进一步突破极限时，就有潜力释放出更多的能力，而且我能否重新安排一切来把极限推得更远。”
-
半导体制造过程本身充满物理挑战，是物理AI可以创造显著价值的另一个方向：除了芯片设计，半导体生产过程同样存在大量复杂的物理问题。团队正在从底层推动物理能力的应用，因为他们认为这个方向能够打开巨大的影响力，而过去的设计优化往往只关注线长、热尖峰或电磁尖峰等简化指标，忽略了更广泛的物理因素。
“显然，半导体生产过程本身也充满了各种有趣的物理挑战，我们正在着手解决这些问题。”
“我们正在从底层推动物理能力的应用，最终这就是发展的方向。我们从这个方向起步，是因为我们认为这个方向正在打开巨大的影响力，而过去存在大量简化，比如你做了线长优化、做了某些优化，你会想这里有没有热尖峰、那里有没有电磁尖峰在干扰我，但不会想到还有所有其他这些东西。”
7. 能源、地热与关键矿产勘探是物理基础模型的第二波商业机会
-
地热与关键矿产勘探本质上是“从观测反推世界状态”的物理问题：Benedikt Jenik 指出，除了设计物理对象之外，还有一类重要应用是：根据对世界的观测来推断世界本身的状态。地热资源定位需要判断地下温度和水流条件，关键矿产勘探需要找到电子设备所需的矿物，这些任务在物理建模上具有共同结构，因此可以进入同一个物理基础模型的能力范围。
“还有另一类问题：我拥有对世界的观测，这些观测能告诉我关于世界的什么信息？比如地热，你想知道地下哪里是热的，并且有合适的水流可以泵送。”
“还有那些用于所有电子设备的关键矿产在哪里？所有这些事情最终都落入了我们的能力范围。”
-
物理模型达到足够通用性后，多个应用领域会同时打开：Jenik 认为，地热、关键矿产等看似不同的任务，在物理层面并没有那么多本质差异。一旦模型达到足够的通用性，原本分散的应用场景会同时变得可行，这正是物理基础模型相对于狭窄专用模型的商业价值所在。
“你需要相当多的物理知识，但同时，这些事情之间并没有那么多不同之处。所以一旦你的模型达到了良好的通用性水平，突然之间很多门都会打开。”
总结
物理世界基础模型的核心启示在于：当AI不再只是模仿数据，而是把物理定律本身作为训练信号时，它就有机会超越人类已有知识的边界。这不仅是技术路线的切换，更意味着AI从“数据驱动的模仿”走向“规律驱动的发现”。半导体和能源领域之所以成为最先落地的场景，正是因为它们对物理规律的利用还停留在浅层。真正的机会不在于把语言模型的成功复制到物理世界，而在于重新理解物理世界对AI提出的根本不同的要求。
信息源
视频来源
- Faster Chips That Don't Melt — Anima Anandkumar & Benedikt Jenik, Accelerated Understanding：
外部资料
- The AI founders who walked away from Bezos-backed ...：
- AnimaAnandkumar：
- Accelerated Understanding Launches AI Models for ...：
- Accelerated Understanding | AI that can simulate and ...：