AREX Feed Article
Nature 发表 Ataraxos 论文：在 20 局系列赛中 15 胜 1 负 4 平击败 Pim Niemeijer，作者称这是 Stratego 史上首个超人结果
9 月 30 日，（作者署名为 Sokota、Vinitsky、Hu 等人），提出面向棋盘战争游戏 Stratego 的 AI 系统 Ataraxos。论文报告，在一场 20 局系列赛中，Ataraxos 以 15 胜 1 负 4 平击败 Pim Niemeijer，论文称后者是「史上荣誉最多的 Stratego 选手」。作者在论文中称，据他们所知，这是该游戏历史上的首个超人结果。
论文同时给出训练成本：按 2025 年价格估算，整次训练花费不到 8,000 美元。
论文图 3：对 Pim Niemeijer 的 20 局系列赛中，每局由网络价值预测给出的有效胜率曲线；15 局标注为 WIN，第 6 局为 LOSS，第 11、14、17、19 局为 DRAW。来源：论文（CC BY 4.0）。
一场打了三周的系列赛
Stratego 是一种类似军棋的两人棋盘游戏：10×10 的棋盘上，双方各布 40 枚棋子，开局布阵彼此保密；一方棋子移动到另一方棋子所在格时发生战斗，双方类型随之揭开，交战按等级判定，等级高者胜、同级则一同出局；夺取对方军旗者获胜。论文称，该游戏可能的棋子配置超过 10³³ 种，正是这种规模的隐藏信息让它长期被当作 AI 的挑战性考题；此前的工业级研究持续数年、涉及数十名研究人员、耗费数百万美元算力，仍未让 AI 达到顶尖人类水平。
论文图 2：Stratego 的起始布阵（a，红方视角，蓝方棋子类型不可见）与一次战斗（b，蓝方棋子移动到红方棋子所在格，双方类型揭开）。来源：论文（CC BY 4.0）。
这场评测在在线对战平台 Strategus 上进行，采用默认的 15+3 时间控制（每人 15 分钟基础时间，每步另有 3 秒）。20 局分散在三周内完成，论文给出的理由有两点：一是减少方差，强手也必须大量随机化，有实力的选手战胜顶尖高手的概率比国际象棋这类游戏更高；二是给 Pim 留出时间，寻找并利用 Ataraxos 的弱点，他被告知 Ataraxos 不会针对他的下法做调整。计分采用「有效胜率」，即平局按半胜计算。Pim 获得 1,000 美元出场费，每胜加 100 美元、每平加 50 美元。
Pim 的荣誉清单（论文列出）：4 次世界冠军（现役选手中最多、并列史上最多）、15 次荷兰全国冠军（史上最多）、2 次线上世界冠军（史上最多）、超过 600 周排名世界第一（史上最多）。论文引述 George Franka 称 Pim 是「史上最好的 Stratego 选手」；按论文的说法，Franka 是 1997 年以来唯一每届世锦赛都参赛的选手。
系列赛的结果是 15 胜 1 负 4 平，有效胜率 85%。论文称，这样的差距在顶尖人类对局中「没有先例」；它引述三届世锦赛亚军 Max Roelofs 的说法：顶尖对局的胜差极其微小，因为下棋时必须承担风险。论文还强调评测结构的非对称性：Pim 可以在多局中适应 Ataraxos，而 Ataraxos 不能适应 Pim，三届世界冠军 Vincent de Boer 认为这对 Ataraxos 是「很大的劣势」。论文同时给出统计口径的保留：这些对局的结果远非独立同分布；若假设它们独立同分布，检验 Ataraxos 是否更可能赢而非输的单侧精确二项检验，P 值小于 2.6×10⁻⁴。
训练账单：16 张 H100 一周，DeepNash 用了 1,024 个 TPU 节点
这笔账单由两段训练构成：强化学习训练用 16 张 H100 跑一周，信念网络（belief network）另用 4 张 H100 训练四天。论文给出的训练规模是约 1.63 亿局完成的对局、超过 2,000 亿次环境步和约 500 亿个训练样本；其中走子网络做了 856 万次梯度更新，布阵网络 9.95 万次。
作为对比，论文引用 DeepNash 的数据：它在 1,024 个 TPU 节点上训练；据 DeepNash 通讯作者向论文作者回忆，训练历时 2～3 个月、使用 TPU v3；论文按 2025 年价格估算，这样一次训练约需 300 万～450 万美元。样本规模上，DeepNash 消耗约 55 亿局对局、5 万亿～10 万亿个训练样本。
论文据此称，与这项未达到顶尖人类水平的此前工作相比，Ataraxos 强化学习训练消耗的算力成本约为 1/500、自博弈对局数约为 1/30、训练样本约为 1/100；论文认为，后两项的下降说明成本优势不只来自更快的实现，也来自更高的样本效率。速度的关键是一套自定义 CUDA 模拟器，论文称其设计目标之一是每秒执行约 1,000 万次棋盘状态更新。
自博弈强化学习、信念网络与测试时搜索
Ataraxos 由三部分组成：一个策略-价值网络，通过自博弈学习提出决策、预测胜负；一个信念网络，用自博弈数据训练，学习对手隐藏棋子的分布，并作为生成模型采样「棋盘上可能是什么局面」；以及一套测试时搜索，在每一步用这两张网络推演候选着法，再按与训练一致的一步更新修正当前决策，从更新后的策略中采样落子。
论文称，让强化学习在不完全信息下稳定工作的关键，是正则化强度与策略更新幅度的配合：自博弈早期用强正则化、大步更新，后期换成弱正则化、小步更新。论文称这种「动态阻尼（dynamically damped）」抑制了不完全信息容易引发的周期性、发散或混乱的学习动态，同时兼顾早期快速提升与后期继续进步。
对 Stratego，Ataraxos 实例化了两套相互依存的自博弈过程：一套布阵网络负责摆放 40 枚棋子的初始布局，一套走子网络负责行棋；两者通过对局耦合，布阵提供棋局起点，对局结果驱动两者的更新。两套网络都采用 transformer 架构（一种基于注意力机制的神经网络）：布阵网络是 decoder-only 结构，走子网络是 encoder-only 结构；信念网络则用编码器读取已知信息、用解码器按行序自回归预测对手未知棋子的类型。测试时，布阵直接从布阵网络采样，不做搜索；走子用搜索。
搜索的配置是 40 层深度、1,000 次 rollout（推演），平均每步约 1.26 秒，运行在单张 H100 上，论文称这比人类选手更快。做法是：先用信念网络采样一批可能的隐藏局面，再把每个候选着法放进这些局面推演，用网络价值预测估计着法价值，然后执行一步 magnetic mirror descent（一种策略更新优化方法）的表格式更新。论文强调，这次测试时更新可以比训练时更激进，因为它只作用于当前决策，且搜索为每次决策投入的算力更多、优势估计更准。论文也指出，这一搜索的提升空间有上限：它只是模仿自博弈中的一次更新；更复杂的搜索，比如借鉴知识受限子博弈求解（knowledge-limited subgame solving），可以利用任意多的额外算力继续改进策略。
同一套技术，用于 Barrage Stratego、Hanabi 与斗地主
论文用这三个游戏检验方法的通用性，覆盖对抗、合作与组队三类不完全信息场景。
Barrage Stratego 是每方只有 8 枚棋子的变体，对局更依赖冒险、诈唬和示弱。Ataraxos 与排名前四中的三位人类选手各进行了 50 局系列赛，三人都是两届 Barrage 世界冠军：先用不含搜索的策略网络出战，29 胜 17 负 4 平胜世界排名第 4 的 Axel Hangg，36 胜 12 负 2 平胜世界排名第 3 的 Sébastien Crot，26 胜 21 负 3 平胜世界排名第 1 的 Pim Niemeijer。随后，带搜索的版本与 Pim 再打一个 50 局系列赛，31 胜 14 负 5 平。四个系列赛全部取胜；论文称，据作者所知，这是 Barrage Stratego 首次出现 AI 超过顶尖人类；按与主实验相同的假设，其总战绩的单侧精确二项检验 P 值小于 1.3×10⁻⁵。
论文称，Hanabi 是全合作型不完全信息游戏中最常用的基准（曾获 2013 年 Spiel des Jahres 年度最佳桌游奖）。玩家看不到自己的手牌，只能靠队友给出的有限提示推进五组烟花牌堆。Ataraxos 在 2～5 人全部变体上都刷新了此前的最先进结果，且具统计显著性：两人局平均得分 24.654 分，77.53% 的对局拿到满分；五人局平均 24.410 分，58.05% 拿满分。论文称，两人局结果所用算力比此前最先进结果低两个数量级。
斗地主是三人非对称组队牌局，地主一人对阵两个农民，地主手牌更多、独自为战，两个农民靠出牌配合。论文把 Ataraxos 与此前最先进的两个系统 PerfectDou、DouZero 对比：在角色互换的重复发牌设置下，每种对比各打 10,000 个重复发牌，Ataraxos 均以统计显著优势取胜，对 PerfectDou 的角色平均分差为 0.199、对 DouZero 为 0.350。论文称这确立了新的最先进水平。
论文的结论是：这些结果显示，大量隐藏信息不再阻挡强化学习与搜索；对许多能构建快速、准确模拟器的策略决策问题来说，实用 AI 触手可及。
对手眼中的 Ataraxos：激进布阵、着法难读、「运气好得不像话」
论文记录了与之对局的选手们观察到的若干特点。布阵上，它更常采用激进布局（高价值棋子靠前）、把炸弹放在第 3、4 行、把军旗放在后排角落，而人类通常认为后排角落难守；它的布阵整体也更难预测。对 Pim 的 20 局中，布阵全部由网络自主采样生成，一局一个；论文说，Ataraxos 约三分之二的布阵会把军旗用炸弹围住。
行棋上，观察者认为它的着法比人类更难读出棋子类型；它在开局时更愿意接受和棋（对 Pim 的第 11 局即如此）；更倾向把侦察兵保留到中后盘；有些诈唬它很少用，另一些在人类看来风险过大的诈唬它却会用。落后时，它比人类更愿意缠斗，会主动拖延、骚扰以放慢对手的推进，论文提到一些人类选手认为这类战术不礼貌。
论文还列出它相对人类的强项：长期位置战、惩罚失误、防守、在信息劣势下作战、中盘到残局的转换，以及把有利局面转成胜利、把不利局面转成胜利或和棋。它还会下人类认为「傲慢」的赌注。论文转述玩家的感受称，它「运气好得不像话」：总像有它需要的棋子出现在正确的位置，赌博总能得手，对手总按它希望的方式行动。
2025 年 8 月 1 日至 3 日，Ataraxos 在 Stratego 世界锦标赛上做了公开演示，与到场选手对弈 40 局，38 胜 2 负，有效胜率 95%；论文说，这提供了它对不同水平、不同风格选手同样有效的补充证据。
没能打成的对比：DeepNash 的代码已无法运行
论文公开了 20 局棋谱和代码：棋谱记录发布在 ，Stratego、Hanabi 与斗地主实验的代码公开在 。第一作者 Samuel Sokota 在 称，这篇 Nature 论文介绍了「首个超人 Stratego AI」，它建立在他们为不完全信息下的强化学习与测试时计算开发的通用技术之上。这项工作的预印本此前已于 2025 年 11 月 10 日提交到 。
与上一代系统的比较在论文中有专门讨论。DeepNash 由 DeepMind 开发，2022 年 4 月在 Gravon 网站评测：按 Perolat 等人的统计，它赢了 50 局中的 42 局，但没有拿到该站排名第一。论文列出几层背景：评测时玩家群体已大量离开 Gravon（2022 年最终排名只列出 25 名玩家），对手水平远非顶尖；他们不知道自己在与机器人对弈，不会去寻找针对机器人的打法，也不知道 DeepNash 使用固定策略、本可以在多局中反复利用同一个弱点。2023 年世界锦标赛的演示中，DeepNash 取得 19 胜 9 负，输给了包括 Pim 在内的多数排名靠前的对手。
论文作者提出，愿意为一场 Ataraxos 对 DeepNash 的评测搭建任何所需的基础设施；DeepMind 回复称，评测无法进行，因为 DeepNash 的代码已经无法运行。