物理学家 Casey Handmer 用 Claude Opus 5.5 审计理论天体物理学:15.8 万篇论文中报告 872 处已验证错误,多数至今未被纠正
北京时间 11 月 17 日 16 时 35 分(UTC 08:35),物理学家 Casey Handmer 在 X 帖文中公布了他这场「寻找 Opus 5.5 极限」持续测试的最新一步:把 Claude Opus 5.5 指向自己读博时的领域——理论天体物理学。配套的公开站点 《A field of physics, audited by machine》写明了规模:以加州理工学院 TAPIR 理论天体物理组为种子,索引 158,059 篇论文、554,670 条引用;所有能取得全文的 50,269 篇逐篇筛查;其中最重要的 659 篇被重新计算、逐项核验;每处经验证的错误都沿引用链追到引用它的论文。
站点的结论是:872 处错误,分布在 433 篇被广泛引用的论文里,其中只有 47 处曾在出版物中被批评过。帖文的口径则是「近 1000 处被多次引用、大多仍未纠正的重大错误」,与站点的「872 处经验证错误」表述范围并不相同。这份调查由 Handmer 一人完成、自行发布——他的 X 资料注明曾任职加州理工学院与 NASA JPL,现为创业者——方法学与错误计数未经同行评审,也没有独立复现。他还估计:模型无需再改进,AI 就能把定量科学提速超过 1000 倍。
从一桩 1997 年没人修的错误说起
站点的动因一节交代得很具体。Handmer 在加州理工学院读博、在这个领域待了五年,他的代码所依赖的方程来自 Bishop、Gómez、Lehner、Maharaj 与 Winicour 1997 年的论文《High-powered gravitational news》——这一子领域的特征演化(characteristic evolution)代码都能追溯到这篇论文。人们早知道它有错,修正散落在约 1 万行彼此矛盾的邮件往来里,论文本身从未更正。他能做到的极限,是在自己的论文里纠正记录:一份附录摆出整理自洽的整套方程,外加一句给细心读者的括号注记「s₃ 的符号错误已改正」。
他写道,这就是人工文献综述的极限:他的三篇博士论文加起来引用不足一百篇,而领域里有数万篇。没有人会把自己引用的每个方程重新推导一遍,审稿人一次只审一篇,也没有人拿薪水回去修原文——于是在坏论文上动工的每个学生都要把同样的税再交一遍。而机器可以读完整领域、重新计算,并把每处错误追到每一篇照抄它的论文。按站点的说法,这次审计在他自己当年的论文里也找出了错误。
以 TAPIR 组为种子:论文如何聚成 32 个子领域
TAPIR 是加州理工学院的理论天体物理组,也是 Handmer 读博的所在;该组 326 名成员自 2004 年以来发表 4,093 篇论文。把这些论文所引用的、以及引用它们的论文全部加入,就得到 158,059 篇论文、554,670 条引用的网络;站点地图上实际画出的 49,301 篇,是与 TAPIR 至少有三重关联的论文。
排布没有借助任何领域标签:相互引用的论文自然聚拢,32 个子领域自己排成纵列,从快速射电暴到银河系晕。数值相对论(numerical relativity)一列有 278 篇论文,其中 71 篇出自 TAPIR,发表最密集的年份是 2010 年。高度是时间——1960 年代在底部、今年在顶部——最亮的点是整个领域都倚赖的论文,排序方式类似早期谷歌排列网页。按年代看,1970 年代留下 499 篇、1990 年代 2,035 篇、2010 年代 18,976 篇:老图层都是幸存者,1975 年前后的其余论文无论对错都已被遗忘。
从 Haiku 粗筛到 Opus 复算:标记如何变成错误
检查分了三层深度,站点把它们标为 Haiku 粗筛、Sonnet 精读、Opus 复算验证。精读一篇要花几美元的模型用量,粗筛一篇几乎不要钱,因此所有能拿到全文的论文都被筛了一遍——50,269 篇、共 4.21 亿词,检索最麻烦问题的「指纹」。这覆盖了地图上画出论文的 76%:1991 年以前的论文不在预印本平台 arXiv 上,仅见诸付费期刊的无法获取,其余的只跑了数据库层面的检查。
筛查结果相当干净:论文工厂式措辞,零;聊天机器人残留和写给 AI 审稿人的隐藏指令,零;无共同作者的论文之间出现相同文本的,34,286 篇里有 43 对,主要是前后相继的巡天目录和数据发布论文,其余排队待人工复核;有 DOI(数字对象标识符)的 184,733 篇中撤稿 13 篇,没有一篇出自 TAPIR;62 篇论文带着 TODO、FIXME 注释就发上了 arXiv。站点据此写道,天体物理相对干净,「这个文献库无论哪里出了问题,都不是造假」。唯一动了的指标是词汇:delve、crucial 一类词在 2025 年的出现频率是 2016 年的 2.5 倍。
贵的那一步是复算。被引用最多的 200 篇 TAPIR 论文(2006~2019 年)各配了一名专属 AI 审稿人,拿到论文的 LaTeX 排版源码和运算工具,指令是把能算的都重算一遍:重新推导方程、检验极限、从论文自己的表格里重建数字——并且不给它看勘误和后续论文,全程盲审。结果:标记 2,623 处问题,其中 84 处重大;被 3 篇以上后续论文倚赖的 112 处交给第二位独立审稿人重新推导,56 处站住了(34 处全错、22 处部分错),50 处属判断空间,6 处被否决。站点强调:「标记不等于发现,只有第二位审稿人维持的才叫错误。」随后,同一套复算检查扩展到地图上另外 459 篇仍被引用的论文——多数是被便宜初筛标记过的高引论文——又坐实 816 处错误。合计 872 处,分布在 433 篇论文中;200 加 459 篇,正是完成复算的 659 篇。
一个因子 4 的错误,被沿用到 2014 年
站点用一桩标注为 2005~2014 年的案例演示错误如何传播。Smith、Kamionkowski 与 Cooray 把暴胀遗留的引力波换算成探测器可观测的能量密度:丢了两个二分之一因子,答案大了 4 倍——分母是 6,教科书公式是 24。这一处被双重核查过:用论文自己的数字代进论文自己的公式,能复现它的结果;同样的数字代进标准公式,得到它的四分之一。此后标红的论文一路照抄这个因子 4,标绿的一篇在 2008 年指出不对,复制仍持续到 2014 年:六次复制,一次反对。
159 处错误被后续论文连着错误数值一并沿用。把被沿用的错误整体看,站点给出一条存活曲线:在第 7 年仍有 52% 在被复制,第 8 年降到一半以下,第 10 年还有 39%——33 处错误年头够长、能在第 10 年被观察到,而追踪最彻底的那批要到第 10 年才过半。这些错误大多不是被纠正掉的:被精读的 200 篇论文里,56 处错误中 52 处仍留在最新的 arXiv 版本上,而那里修改本是免费的;数据库为这 200 篇只记录了 2 篇勘误。87 处确实死去的错误中,67 处从未被任何人批评过——它们只是在子领域转向时自然熄灭,正确答案与错误答案以同样的速率退场。按论文计数:367 篇沿用了某个错误,68 篇批评过一个;而被书面批评过的那 47 处里,21 处事后仍被另外 51 篇论文继续沿用。
按这份测量,同行评审拦下约五分之一的错误
同行评审的纠错效率在这套数据里可以直接测量。200 篇精读论文中约 136 篇从初版预印本到刊出版做过修改,站点用同样的盲审方式重读了那些预印本:13 处经验证的错误只出现在预印本里、刊出版中已消失——被审稿人或作者在二审时修掉了;但另有 56 处穿过了评审、进了期刊。站点据此写道:「按此证据,同行评审大约每五处错误拦下一处。」而且那 13 处被修掉的错误里,至少两处仍被后来的论文从过期预印本里照抄了去。
Handmer 在帖文里的措辞更直接:这项调查让他得以估计「同行评审在纠正错误方面的效能(不太好)」。
成本 2,720 美元、全程无人复核
站点的成本账很具体:按牌价购买模型用量,审计整个领域约花 2,720 美元,平均每处已验证错误约 3 美元;实际运行是在一份 Claude Max 订阅内完成的。整个项目——这个领域加上其他领域——消耗约 49 亿 token(模型用量计量单位),Handmer 在 41 天里投入约 44 小时。
验证流程也写在明面上:每处错误由一个 AI 会话发现,再由第二个独立会话重新推导,并在期刊刊出版的文本中逐一对上;其中 5 处还对照来源逐步双重核查过。但站点同时承认,「没有任何一个人核对过其中任何一处」。作为测试,随机抽出的 40 处交给第三个只看论文与段落的会话,它维持了 33 处——「这里列出的错误有些经不起细看。如果我们把你的论文弄错了,说出来,我们会改正,并说明我们改过。」
872 因此只是下限:复算至今只推进到地图上 4% 的高引论文。按已读论文的比例外推,站点估计这个领域被引用 100 次以上的论文里,未被发现的错误约有 34,000 处(25,000~48,000)——这是作者自己的估算口径。155 个开放问题在站点上按「当前 AI 可解答性」逐项评级:8 个被判定用现成的数据和代码当下就能解答,119 个 AI 能加速,28 个还在等望远镜或探测器。
Handmer 在帖文里说,其中几十个问题是任何有富余 Claude Max 额度的人今天就能回答的,所需的上下文文件已备好;他称自己在大学里看不到相应推进的迹象,「只看到学者抱怨实验室不再做数学证明」,而在他所属的「改行学术的高能动性创始人」圈子里,有几个人正在快进整个学科。他还写道:「学术出版已死。」截至发稿,这条帖文获得 1,394 个赞、165 次转发和 36,882 次浏览。
复算队列还没走完,站点注明:剩下的是一笔预算决定,下一个领域也是。