AREX Viewpoint Article
为什么规模化预测无法创造智能
导读
当 Alexander Mattick、Dominik Seuß 与 Christopher Mutschler 的论文《SafeMPO: Constrained Reinforcement Learning with Probabilistic Incremental Improvement》出现在 ICLR 2026 会议议程中时，受限强化学习再次进入安全部署讨论的前沿。这篇工作把安全约束纳入策略改进，试图回答一个现实问题：学习系统如何在平均表现之外提供最坏情况保证。
这个问题正是 Mattick 在最新访谈中反复强调的张力。他直言工业场景里 90% 的平均成功率不可接受，因为物理世界的错误不可逆：软件可以回滚，而控制机器人压到人无法撤销。系统需要的不是峰值准确率，而是每个状态下都有一个最低正确概率，只有这样才能通过多次测量和滤波可靠降低错误率。
SafeMPO 的动机与这段访谈形成互文。Mattick 不把约束看作应该被抛弃的先验，而视为人类已经付出代价获得的知识。他批评 Sutton 的《Bitter Lesson》要求系统从零重新发现，指出大多数信息极其昂贵；工业奖励函数内部早已塞满被重新包装的惩罚项，例如 OpenAI Five 的 Dota AI 附录中“在错误车道上停留特定时间有负奖励”就是约束。
视频把这一判断延伸到世界模型和机器人演示。Mattick 认为 JEPA 和“世界模型”更多是品牌标签，预测未来并不能自动推出正确行动：一个完美的国际象棋规则模型不会让你成为马格努斯·卡尔森。现阶段人形机器人更愿意表演后空翻和冲刺，而不是打开冰箱取牛奶，因为接触丰富的日常任务难以建模、难以收集数据。
相较论文的单一方法改进，视频提供了更大的决策准则：约束不是创造力的对立面，而是有效探索的结构条件；分层抽象要求下层给上层稳定接口，控制理论在这一点上比强化学习更可靠。他用迷宫墙壁比喻约束——尊重墙壁反而能发现尚未探索的子空间。
因此，在 SafeMPO 进入会议议程之后观看这场访谈，不只是了解一位作者的研究背景，而是获得一套判断当前智能系统能否落地的标准：它是否显式编码了已有知识、能否提供最坏情况保证、下层是否提供稳定接口。这比单看论文更直接地解释了为什么在信息昂贵、错误不可逆的世界里，约束才是可靠智能的结构条件。
核心结论
- 约束是知识，不是应该被抛弃的先验：Mattick 直接回应了 Sutton 的 Bitter Lesson，认为在现实应用中信息极其昂贵，从零重新学习是对已有知识的浪费。工业级奖励函数本质上就是被重新包装的约束，显式地构建约束比让系统重新发现一切更合理。
- 能量模型的生成时代已经结束，但其比较能力仍有实用价值：能量模型原则上可以生成样本，但采样成本过高，在生成任务上已被扩散模型和流匹配取代。其真正优势在于无需归一化的相对比较，适合异常检测和预训练，但作为通用思维框架已不再有用。
- 世界模型和 JEPA 是品牌标签，预测不等于控制：Mattick 指出这些术语被过度使用，本质上只是动力学模型或基于模型的强化学习。即使拥有完美的世界模型，也不意味着能自动解决决策问题，预测未来与控制行动是两个不同的问题。
- 机器人部署需要最坏情况保证，而非平均成功率：当前机器人演示展示的是峰值表现，掩盖了真实失败率。工业场景中 90% 的平均成功率不可接受，因为物理世界的错误不可逆，而深度强化学习基于采样的特性难以提供硬性安全保证。
- 约束是创造力的结构条件，分层抽象依赖下层提供稳定保证：约束不是创造力的对立面，而是使有效探索成为可能的结构条件。分层系统中下层必须提供稳定接口，上层才能可靠构建，这正是控制理论相比强化学习在层级抽象上的优势所在。
观点拆解
1. 信息是昂贵的：约束比“奖励足够”更接近真实世界的智能路径
-
大多数信息极其昂贵，从零重新学习是对已有知识的浪费：Mattick 认为 Sutton 的 Bitter Lesson 在极限意义下或许成立，但现实应用中的信息获取成本极高。与其让系统从零开始重新发现一切，不如先把人类已经付出代价获得的知识注入模型，再在此基础上继续学习。
“实际上，信息可能非常昂贵，事实上我会说大多数信息都非常非常昂贵。”
“我们仍然面临一个问题：现在需要真正从头重新学习一切。现实是，我们想要尽可能多地收集那些我们已经付出代价、用血汗和泪水换来的信息。我们想先把所有这些放进模型里，然后再从那里继续前进。”
-
约束本质上是知识，应该被显式地构建进系统：Mattick 将约束广义地理解为知识，认为约束存在于多个抽象层次上。他反对 Bitter Lesson 中不把知识和约束构建进系统的观点，主张约束是极其有价值的，而不是应该被抛弃的先验。
“Sutton 有一篇 Bitter Lesson 的文章，基本上他认为我们不应该把知识和约束构建进系统。他认为我们应该只是扩展计算模型。而我是约束极其有价值的坚定信徒，更广义地说，约束就是知识。我认为约束发生在多个抽象层次上。”
“你如何到达那里，以及你如何约束和塑造搜索空间，对让它真正起作用至关重要。”
-
工业级奖励函数实际上只是被重新包装的约束：Mattick 指出，在实际的工业应用中，所谓的奖励函数内部充满了约束，只是被重新表述为惩罚项。OpenAI Five 的 Dota AI 就是一个典型案例：其奖励函数中大量权重本质上就是约束条件，用约束强化学习的语言可以更直接地表达。
“如果你看一个真正工业级的奖励函数，你会立刻发现里面有约束。它们只是被重新表述为奖励函数，因为当然你可以把它们写成惩罚项，但最终你只是花了很多功夫去避免写下一个约束。”
“在 OpenAI Five 的论文附录里有一张巨大的表格，左边是放入奖励函数的所有不同属性，中间是一堆随机数字作为权重。底部有一条说在错误车道上停留特定时间会有负奖励——那就是一个约束。”
2. 能量模型在生成任务上已不经济，其真正价值在于无需采样的比较与预训练
-
能量模型原则上仍是生成模型，但采样成本使其在生成任务上不经济：Mattick 澄清了一个常见误解：能量模型并非“不是生成模型”，而是可以生成样本，只是采样过程过于昂贵，导致实践中几乎无人使用。关键问题不是“能不能生成”，而是“生成是否经济”。
“两者从根本上都是生成模型，对吧？我真的不理解那种认为能量模型不是生成模型的想法。我听过很多次这种说法，但它就是不对。有趣的是，你可以在不需要生成能力的场景中使用它们，但从根本上说它们仍然是生成模型。你仍然可以生成样本，只是非常昂贵，所以没人这么做。”
“问题不在于它们能不能做到，而在于这样做是否经济。然后我会同意，目前用能量模型生成数据是不经济的。”
-
能量模型的真正优势在于无需采样的相对比较，适合异常检测与预训练：能量模型虽然不适合生成，但其未归一化的特性允许直接计算样本间的相对比率，从而进行成对比较。这种能力在异常检测、动力学模型误差修正以及预训练等不需要采样的场景中具有实用价值。
“能量模型最大的优势是你可以进行数据点之间的比较，对吧？因为能量模型中实际上存在一个未知的标量。但你仍然可以有效地去说，这个点比另一个点的可能性大三倍，只需计算比率即可。如果你只需要这个——如果你的问题只需要成对比较——那么能量模型可以相当好用。”
“能量建模在完全不需要采样的情况下非常有用。这就是它适合预训练的原因。如果你做预训练，使用能量模型可能是有意义的。”
“它对于许多应用是有帮助的，比如异常检测，或者在展开动力学模型时纠正累积误差。”
-
能量模型作为通用思维框架已不再有用，生成任务应选择扩散模型或流匹配：Mattick 认为，虽然可以将许多模型表述为能量模型，但这种表述过于宽泛，对大多数问题已不再是一种有用的思考方式。在生成任务上，扩散模型和流匹配明显更优；在自监督学习上，也存在比能量模型更好的框架。物理场景是少数例外。
“在我看来，能量模型并不是真正有用的，或者至少不再有用了。总的来说，你当然可以把你的模型表述为能量模型——如果我是审稿人，我不会因此扣分——但最终我认为对于绝大多数问题来说，这不是一种有用的思考方式。”
“如果你想做生成，扩散模型或流匹配更好。我认为没有人会反对这一点。如果你想做无监督学习，你可以把它表述为能量模型，但我不认为这是一个有用的框架。”
3. 扩散与流匹配的本质是把密度分解问题从采样负担转化为可摊销的优化过程
-
传统密度建模的困境：变分推断太受限，拒绝采样和 MCMC 在高维中太昂贵：Alexander Mattick 从推理的核心困难——密度必须归一化——出发，指出最早用参数化密度做变分推断虽然简单，但一旦数据是多峰的，正态分布这类固定形状就会把概率质量错误地放在中间。拒绝采样虽然通用，却在高维中遭遇维度灾难；MCMC 虽然能采样，但接受拒绝步骤和模式间跳跃让它在高维中慢得不可接受。这为理解后续扩散和流匹配的动机提供了基线。
“困难在于，当我们尝试做推理时，密度总得在某个点上被归一化。”
“如果你的数据不是正态分布的，比如说它是双峰的，那么你的实际密度就不再匹配了。拟合一个正态分布基本上会把所有质量放在中间，试图折中。”
“如果你运行过马尔可夫链蒙特卡洛，你会注意到它慢得离谱，尤其是在高维中。你仍然有一个接受拒绝步骤，最终做了大量工作却没有任何进展。”
-
扩散模型用时间维度换掉接受拒绝步骤，把 MCMC 的采样负担转化为更便宜的轨迹跟随：Mattick 认为扩散模型的关键突破在于引入无限多潜变量，形成一个类似 MCMC 的马尔可夫过程，但不再需要接受拒绝步骤。代价是必须建模时间这个额外变量，因为每个时间步对应不同的密度。然而，这种用时间维度换取采样效率的做法，比实际运行 MCMC 便宜得多，因为它把问题重新表述为随机微分方程，从初始密度到最终密度只需跟随密度轨迹。
“扩散模型的想法是，我有一个类似 MCMC 的马尔可夫过程，只是有无限步。”
“每一步你都有随机噪声，但你不再需要接受拒绝步骤，也不再遇到局部极小值的问题，因为你本质上把它重新表述为一个随机微分方程，从初始密度到最终密度。”
“这展示了扩散模型的主要优势：在推理时不再需要执行 MCMC，我们只需要跟随向量场跨时间演化。”
-
流匹配把采样重构为学习向量场的监督回归，在归一化流的灵活性与扩散的采样效率之间取得平衡：Mattick 进一步指出，流匹配仍然把采样视为重参数化问题，但通过固定路径先验——例如在真实样本和基础样本之间选一条直线——把任务变成简单的监督回归。这样既不需要像连续归一化流那样在每个优化步求解完整常微分方程，又能像归一化流一样耦合任意测度，同时保留扩散模型优越的采样性质。
“流匹配是一种介于扩散过程和连续归一化流之间的方法。归一化流的优势是能够耦合任意测度，而扩散在理论上被限制为与正态密度耦合；扩散的优势是训练快，因为我们不需要为每个优化步求解完整的常微分方程。”
“流匹配仍然把采样框定为重参数化问题，但现在固定了路径先验中的自由度。选一条路径，例如真实样本和基础样本之间的直线，然后训练一个模型来模仿它。模型的任务只是学习示例流的一般参数化，这是一个简单的监督回归问题。”
“因此，流匹配拥有归一化流的全部灵活性，同时具备扩散模型优越的采样性质。”
4. JEPA 和“世界模型”更多是品牌标签，而非清晰的技术类别
-
JEPA 和“世界模型”本质上是品牌标签，而非清晰的技术类别：Mattick 直接指出，JEPA 和世界模型这两个术语被严重过度使用，以至于可以指代几乎任何东西。他认为这些名称更多是营销性质的“品牌”，而不是有明确边界的技术定义，相关方法在这些名称出现之前就已经存在。
“JEPA 和世界模型归根结底是品牌。在 JEPA 之前就有类似 JEPA 的模型，在世界模型之前就有世界模型。”
“我认为世界模型和 JEPA 归根结底都是品牌。在 JEPA 之前就有类似 JEPA 的模型，在世界模型之前就有世界模型。事实上，Schmidhuber 那篇世界模型的论文，就是基于模型的强化学习。”
-
“世界模型”一词含义过载，可以指代从传感器预测到视频扩散等完全不同的东西：Mattick 列举了多种被冠以“世界模型”之名的技术：从机器人的触觉传感器前向预测，到图像或视频扩散模型，再到 JEPA 风格的内部状态模型。这种术语的泛化使得“世界模型”几乎失去了区分不同方法的能力，内部状态是否真正有用也难以判断和基准测试。
“世界模型和 JEPA 有完全相同的问题，因为它是一个被严重过度使用的术语。它几乎可以指代任何东西。我们见过人们谈论的世界模型实际上是传感器类型的模型……然后我们见过实际上是图像或视频扩散模型的世界模型。然后我们还见过 JEPA 风格的世界模型，其中你有一些内部状态，这当然带来了一个问题：你不知道内部状态是否真的有用。”
“我见过人们把新的 Dreamer 论文称为世界模型，也见过人们说它只是基于模型的强化学习。我认为这两者之间已经没有合理的区别了。”
-
所谓“世界模型”本质上只是动力学模型，人们早已在做这件事：Mattick 将世界模型还原为最基本的技术内涵：一个根据前一状态和动作预测下一状态的动力学模型，无论它是概率性的还是确定性的，无论它拟合的是视觉、音频还是其他数据。他指出，如果这就是世界模型的全部含义，那么人们在没有使用这个名称的情况下已经做了很长时间。
“我认为这主要是对定义非常松散的技术进行的品牌包装。它们只是在拟合某种形式的动力学模型，无论这个动力学模型是概率性的还是确定性的，无论它拟合的是视觉数据、音频数据还是其他什么。它们都被称为世界模型。它只是一个动力学模型，根据前一状态和动作来预测下一状态，我认为除此之外没有更多的东西了。如果就是这样，那么人们在没有称之为世界模型的情况下已经做了很长时间。”
5. 预测不等于控制：完美的世界模型并不能自动解决决策问题
-
完美的世界模型并不能自动解决决策问题：Alexander Mattick 直接回应了“有了世界模型就不需要强化学习”的说法，指出这种观点过于简化。他以国际象棋为例说明：即使拥有完美的规则模型，也并不意味着能够像顶级棋手那样做出最优决策，因为预测未来和推断正确行动是两个不同的问题。
“我可以给你一个完美的国际象棋世界模型，但你仍然无法解决这个问题，你仍然不会成为马格努斯·卡尔森，因为能够预测未来和能够实际推断出正确的行动之间存在差异。”
-
当前世界模型演示回避了真正的控制难题：Mattick 指出，目前用世界模型完成的机器人演示在控制层面并不困难。真正的瓶颈在于感知层面——如何在接触丰富的环境中获得可靠且带有保证的传感信息，而这恰恰是安全部署机器人所必需的。
“目前用世界模型完成的事情从控制的角度来看并不那么困难。从控制的角度来看，如果你真的去参加德国机器人会议 RIG 并与那里的人交流，其中一个重大挑战就是以合理的方式有效地完成感知部分，同时给你相对强的保证，因为如果你没有强保证，你可能会压到人。”
-
接触丰富的日常任务比后空翻更难，世界模型的数据假设不现实：Mattick 用人形机器人的例子说明，后空翻和冲刺等演示回避了真正困难的任务——那些涉及接触丰富环境的日常操作，如打开冰箱取牛奶。这类任务难以建模且难以收集数据，因此“世界模型可以收集所有数据并蒸馏出动态模型”的赌注并不合理。
“你看到这些人形机器人总是做后空翻和冲刺之类的事情，却从来不做以下任务：站起来，走到隔壁房间，打开冰箱，看看里面，拿出一盒牛奶递给我。它们不做的原因是因为那将是一个困难得多的任务，因为你面对的是接触丰富的环境，难以建模，也难以收集数据。”
“所有这些世界模型初创公司或世界模型论文的赌注是：我们可以收集你需要的所有数据，并将所有这些动态蒸馏到一个模型中。我认为这不是一个合理的期望，因为世界太奇怪了。”
6. 机器人演示的可靠性被高估：真实部署需要的是最坏情况保证而非平均成功率
-
机器人演示展示的是峰值表现，而非真实失败率：Mattick 指出，当前机器人演示往往被设计成在特定场景下表现惊艳，但观众无法从中得知系统实际失败了多少次。这意味着演示视频作为一种传播形式，天然倾向于掩盖可靠性问题，不能作为部署可行性的证据。
“我认为它们被设置成在演示中看起来非常棒，并且确实能做出一些令人印象深刻的事情。但你怎么知道它失败了多少次？”
“我认为现在所有这些方法都不是这样设置的。我认为它们被设置成在演示中看起来非常棒，并且确实能做出一些令人印象深刻的事情。但你怎么知道它失败了多少次？”
-
工业部署要求的是每个状态下的最低正确概率，而非平均成功率：Mattick 认为，在真实生产环境中，峰值准确率的意义远不如每个状态下都存在一个最低正确概率来得重要。只有具备这种最坏情况保证，系统才能通过多次测量和滤波来可靠地降低错误率，而当前基于采样的深度学习方法难以提供这种保证。
“我认为峰值准确率其实意义很小。你需要的是在每一个状态下都有一个最低的正确概率，因为这样你才能开始做一些事情，比如有效地对它套用一个滤波器，做多次测量，然后真正得到正确的结果。”
-
90% 的平均成功率在工业场景中不可接受，因为失败代价极高：Mattick 用宝马工厂的例子说明，工业客户不会接受一个 90% 时间正确、10% 时间出错的机器人，因为物理世界中的错误可能造成严重伤害。相比之下，软件环境可以回滚，而物理世界的错误不可逆，因此对可靠性的要求远高于当前演示所展示的水平。
“如果你去宝马说，我有一个机器人，90% 的时间做的是对的，另外 10% 的时间它会做别的事情，他们会说，不，我不会为这个机器人付钱。”
“在现实世界中，删除你的电脑的概念就相当于压死一个人，所以安全水平要高得多，你需要高得多的可靠性，尤其是对于你需要反复执行、并且需要反复成功的任务。”
-
深度强化学习难以提供最坏情况保证，因为采样与最大误差天然冲突：Mattick 从技术层面解释了为什么深度强化学习不适合提供硬性安全保证：基于采样的方法在期望意义上可以表现良好，但无法排除极端失败案例。他引用了一篇论文，证明用深度网络达到均匀精度在参数数量上是指数级困难的，这意味着最坏情况保证在深度学习中本质上难以实现。
“你可以有一个控制器，在期望意义上表现得非常好，但有一个非常非常大的失败案例。一个平均意义上完美跟踪、但有一次巨大错误——比如机器人打到你脑袋——的东西，和一个只是轻微漂移的东西是完全一样的。”
“他们基本上证明了，对于真实网络来说，这甚至是不可能的，或者说基本上是不可能的，因为需要指数级的参数数量。”
7. 约束是创造力的结构条件：好的抽象通过稳定接口让上层可以依赖下层
-
约束不是创造力的对立面，而是有效探索的结构条件：Mattick 用迷宫比喻说明：墙壁代表约束，尊重约束反而让人可以自由选择路径并发现新的子空间，而不是浪费时间撞墙。这意味着创造力依赖于对约束的深度尊重，而非对约束的摆脱。
“创造力本质上就是深度尊重约束，而表征在某种程度上是路径依赖的。”
“我把问题空间想象成迷宫。迷宫里有墙，墙就是约束。如果你尊重约束，就不会穿墙而过，反而可以发挥创造力，因为你可以沿着路径走，发现新的未被探索的子空间。”
-
把约束编码进架构通常更有利，但并非所有约束都能被静态架构吸收：Mattick 认为，如果能把约束编码进模型架构，通常会带来明显优势，例如强化学习中的动作掩码。但很多约束来自模型外部，尤其是状态约束或 CSP 类问题，其复杂性使静态架构难以在数学上直接强制执行，因此仍需将部分结构外部化。
“一般来说，如果你能把约束编码进架构里，你的处境通常会好得多。”
“有很多约束是 NP 难的，根本无法强制执行。比如 CSP 类问题，它就是 NP 难的。你怎么在一个静态架构里做到这一点？从数学上讲，从复杂性的角度看，这已经行不通了。”
-
分层抽象的关键是下层提供稳定保证，这正是控制理论优于强化学习之处：Mattick 指出，分层抽象系统的基本要求是下层为上层维持某种不变量，使上层可以依赖这些保证进行构建。控制理论能提供强保证，而强化学习的下层行为不稳定，导致层级强化学习难以成功。抽象的本质就是建立一个稳定的接口，让上层不必关心下层具体如何实现。
“对于一个分层抽象系统，你真正想要的基本约束是：下层系统保证某些不变量，上层系统才能真正依赖这些保证。这也是层级强化学习从未真正成功的主要原因之一，因为下层没有给上层足够的保证去利用。”
“控制理论能给你非常强的保证。必要时你可以用一个 H∞ 控制器，它给你的是最坏情况下的对抗鲁棒性，你仍然可以在此基础上工作。但强化学习做不到同样的事，因为下层想做什么就做什么，上层只能被动应对。”
“在抽象中你需要一个稳定的接口：下层具体做什么你并不关心，但你必须能够依赖它们。这也可以被看作一种约束——下层给你的是能力形式的约束，上层给你的是需求形式的约束，比如机器人不能压到你。”
8. 深度学习理论目前无法指导实践，真正需要的是可证伪的预测循环
-
现有深度学习理论能提供有趣视角，但还不足以指导实际工程决策：Mattick 认为，无论是把深度网络当作巨大非线性规划的“参数化视角”，还是转向函数空间的分析，这些理论虽然数学上有趣，却往往停留在解释层面，无法告诉实践者该怎么做。他特别指出，参数化视角对具体架构的依赖太强，一旦架构改变，很多结论就失效了。
“这最终是一种非常非常有趣的思考问题的方式，但它未必那么有用。”
“参数化世界里的很多研究不再真正有意义，因为它们都假设了这种样条式的结构。”
-
理论的价值不在于解释一切，而在于做出可检验的预测并主动证伪：Mattick 强调，深度学习理论目前最缺的不是更精巧的数学框架，而是一种“物理学式”的循环：先做出预测，再去检验它在哪里失效。他认为很多理论论文停留在证明层面，没有真正去验证理论在现实中的适用边界。
“重要的是，而且我认为这也是很多理论论文所缺失的：你要去实际检验这个测试是否有效，基本上就是尝试证伪你的理论，或者弄清楚这个理论到底在哪里会失效。”
“我认为重要的是我们需要有能做出实际预测的东西，为此需要理论研究者之间的循环。”
-
深度学习领域缺乏物理学式的统一框架，研究碎片化且节奏过快：Mattick 将深度学习理论与物理学对比，指出物理学有标准模型作为共同起点，而深度学习研究高度碎片化，缺乏连贯的叙事。他认为当前以会议节奏驱动的增量式发表文化，使得构建统一理论几乎不可能。
“我认为还有一个大问题，就是很多研究真的非常碎片化，不像物理学那样有一个标准模型，我们可以围绕它工作。”
“要拥有像物理学那样的东西，我认为整个领域目前并没有为此做好准备，而且我认为在事情开始慢下来之前，它也不会为此做好准备。”
总结
这期访谈最值得传播的判断是：在信息昂贵、错误不可逆的真实世界里，智能系统的关键不在于让模型从零重新发现一切，而在于把人类已经付出代价获得的知识以约束形式显式地构建进去。能量模型的兴衰、世界模型的标签化、机器人演示的可靠性幻觉，都指向同一个结论——真正可靠的智能需要结构化的保证，而非仅仅追求平均意义上的表现。
信息源
视频来源
- Why Information Has a Price in Intelligence - Alexander Mattick：
外部资料
- SafeMPO: Constrained Reinforcement Learning with ...：
- SafeMPO: Constrained Reinforcement Learning with ...：
- Why Scaling Prediction Cannot Create Intelligence - Alexander ...：