返回资讯中心
外部精选
软件工程
#开发者实时流

物理学领域用机器审查15.8万篇论文发现引用错误

来源标题:I had AI read my field

一项对物理学领域158,059篇论文和554,670条引用记录的机器审查,全面筛查了每篇论文的全文,并重新计算核验了659篇最重要的论文,追踪了每一个已确认错误在引用它的论文中的传播。审查者曾在Caltech攻读该领域博士五年,指出人工文献综述无法做到逐篇重新推导,这是机器审查试图弥补的局限。

Hacker News 最新bilsbie2026/11/17 · 今天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

158,059篇论文,554,670条引用。每篇论文的全文都经过筛查,659篇最重要的论文被重新计算和核验,每一个经确认的错误都被追踪到引用它的论文中。这就是那张地图,以及它对于科学能否自我纠错给出了什么答案。

我花了五年时间在这个领域攻读博士学位,就读于Caltech,其中几个月的时间用在处理文献中那些早已为人所知的错误上。我的代码所依据的方程来自Bishop、Gómez、Lehner、Maharaj与Winicour的《High-powered gravitational news》(1997),这是该子领域特色代码所承袭的论文。人们知道它有错误。修复方案散落在约10,000行相互矛盾、彼此冲突的电子邮件线程中,而论文本身从未被更正。我能做的最好的事情就是在自己的论文中更正记录:一个附录,列出完整且自洽的方程组;以及一句括号内的说明——“s3的符号错误已更正”——留给细心的读者。

这就是人工文献综述的极限。我的综述并不深入:我的三篇学位论文加起来引用的论文不到一百篇,而整个领域有数万篇。没有人会重新推导他们引用的每一个方程,审稿人只审一篇论文一次,没有人拿钱回头去修正原始论文。于是每一个建立在有问题的论文之上的学生都要一次次地付出同样的代价,而更正只活在某个人的收件箱里。机器可以读取整个领域、重新计算,并把每个错误追踪到每一篇复制了它的论文。所以我让一台机器去做了这件事。它在我自己的论文里也发现了错误。

高度即时间:1960年代在底部,今年在顶部。每条淡淡的线是一条引用。亮点是其他一切所依赖的论文,其排名方式类似于Google对早期网络的排名。

种子是TAPIR,Caltech的理论天体物理小组,我在那里攻读了博士学位:自2004年以来,其326名成员共发表4,093篇论文。加上他们引用的每一篇论文以及引用他们的每一篇论文,你得到158,059篇论文,由554,670条引用连接。这里绘出的49,301篇是与TAPIR至少有三次关联的论文。

这张地图包含499篇1970年代的论文、2,035篇1990年代的论文和18,976篇2010年代的论文。古老的层是幸存者,是今天仍在工作的人依然引用的论文。1975年的其他一切早已被遗忘,无论对错。

这个领域所知的大部分内容都是在过去二十年里写成的,作者们还在世,还能回邮件。记住这一点。

没有人告诉布局什么是数值相对论。相互引用的论文彼此拉近,于是子领域呈现为一列:同样几十个人年复一年地写同一个问题,每一层都站在上一层之上。

共有32列,从快速射电暴到银河系晕。

在计算机上求解Einstein方程,直到两个黑洞合并。这一列有278篇论文,其中71篇属于TAPIR,最活跃于2010年。

每个子领域都有一个页面:它所围绕组织的问题,以及每个问题是开放的、有争议的还是已解决的;谁写了核心论文、在哪里写的;发表速度有多快;以及我们追踪到了它的哪些错误。

每个开放问题还带有一个标记,说明当今AI能对它做什么。在155个问题中,模型判定8个现在就可以用已有的数据和代码回答,119个AI会加速解决,28个则卡在等待望远镜或探测器上。

仔细阅读一篇论文要花费几美元的模型时间。筛查一篇则不花钱,所以我能拿到全文的每一篇论文都经过了筛查:50,269篇论文,4.21亿词,检查最严重问题的特征指纹。这覆盖了这里绘出的论文的76%。1991年之前的东西不在arXiv上,仅发表在期刊上的论文也不开放,所以其余的只做了基于数据库记录的检查。(金色标记的是TAPIR自己的论文。)

天体物理相对干净。无论这批文献有什么问题,都不是欺诈。唯一变化的指针是词汇:“delve”、“crucial”之流在2025年的出现频率是2016年的2.5倍。

引用极度不平等,几百篇论文支撑着整个领域。因此,2006–2019年间被引用最多的200篇TAPIR论文(金色)各自得到了一位AI审稿人,配有LaTeX源码、运行自己计算的工具,以及重新计算一切可能内容的指令:重新推导方程、检验极限、从论文自己的表格重建数字。它在盲态下工作,无法访问勘误或后来的论文。

标记不等于发现。只有第二位审稿人维持的结论,在这里才被称为错误。

这200篇中约有136篇在第一版预印本和发表版之间经过修订,所以我们以同样的方式阅读了那些第一版预印本。13个经确认的错误存在于预印本中、在期刊版本中已消失,由审稿人或作者在复查时修正(紫色)。

56个通过了审稿进入期刊(金色)。根据这一证据,同行评审消除了大约五分之一的错误。这十三个中至少有两个还是被后来的论文从过时的预印本复制了。

Smith、Kamionkowski与Cooray把暴胀留下的引力波转换为探测器可见的能量密度。两个二分之一的因子丢失了,所以答案大了四倍:分母是6,而教科书上是24。这一个经过了双重检查。论文中的数字代入论文中的公式重现了它的结果;同样的数字代入标准公式则给出其四分之一。

看年份滚动。红色论文复制了那个四倍的因子。绿色那篇在2008年指出它是错的。复制一直持续到2014年:六次复制,一个反对。

然后我们把网撒得更广。同样的重算与核验检查,对地图上另外459篇仍被引用的论文运行,大多是高被引、被更廉价的首轮阅读标记过的论文,又维持了816个错误。这样在433篇论文中共有872个错误。其中159个被复制——错误的值和所有内容——进入至少一篇后来的论文。按论文计数:

367篇论文复制了一个错误。68篇批评了一个错误。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →