哈佛研究：AI撰写同行评审意见评分超过顶尖人类专家

由于存在这些风险，此前大多数分析都认为AI只应作为人类审稿人的补充，而2026年两项关于AI与人类同行评审的对比研究也得出了相互矛盾的结果。在2026年一项针对BMJ Open的119篇稿件的研究中，人类审稿人提出的意见比ChatGPT更细致、更多样；而在2026年一项针对某心脏病学期刊40篇稿件的盲法研究中，两位编辑在七项标准中的五项上给Claude、ChatGPT和Gemini的评审打分高于人类评审。在此背景下，哈佛大学的Gary King和Steven Worthington着手测试：一个领先的AI模型与处于最佳状态的人类同行审稿人相比表现如何——而不是与那些匆忙赶工、无偿劳动的期刊审稿人相比。他们的工作论文尚未经过同行评审。

为了建立一个强有力的人类基准，研究人员考察了提交给rapidPeer的每一篇符合条件的稿件。rapidPeer是哈佛大学定量社会科学研究所开发的一项投稿前评审服务，由King领导。通过这项服务，由该领域专家挑选的外部专家会获得丰厚报酬，在论文投递给期刊之前，从头到尾阅读一份匿名化的教师稿件，并撰写至少1.5到2页的建设性反馈。这些人类评审获得了非同寻常的高度评价：在交付一周后进行的一项调查中，74位作出回应的作者中有88%将他们的评审评为高质量或极高质量，而研究人员咨询的前期刊编辑则称这些报告是他们见过的最强评审之一。

完整数据集包括2019年至2026年间从统计学、数学和定性研究领域收集的124篇学术稿件和134份人类评审，其中10篇论文获得了两份独立的人类评审。对于每篇稿件，研究人员使用Anthropic的Claude Opus 4.8在其最高推理设置下，在两种不同条件下生成了AI评审。在匹配条件下，AI模型收到匿名化的论文和rapidPeer审稿人的确切指令，不使用任何外部工具。在调优条件下，模型收到一个在任何评判之前设计的自定义提示，以及互联网搜索权限，每次评审平均使用12.4次。

为了在不允许模型评判自家开发者系统的情况下评估这些评审，研究人员使用了OpenAI的GPT-5.5作为来自另一家公司的独立AI评判员。在首先确定rapidPeer的七个评估领域（理论与想法、方法、弱点、框架、表达、图表和来源）中哪些适用于每篇稿件之后，AI评判员对每对评审进行总体排名，在每个相关领域内进行正面对比排名，并按0到10分为每份评审打分。每次比较都以两种呈现顺序运行，只有两种顺序下都更受青睐的评审才被计为获胜。总体排名仅基于两份评审本身；在后来一项向评判员提供完整稿件的核查中，AI评审在134对中仍有至少132对更受青睐，而人类评审从未在两种呈现顺序下都被更受青睐。

此外，三家领先学术期刊的三位前编辑通过一个盲法并排网页界面，独立评判了随机选取的10对评审，共产生30份人类判断。

在所有评估中，AI生成的评审都以较大优势胜过人类评审。主要结果以描述性方式报告，即胜率和平均评分，没有进行正式的统计检验或置信区间。在总体正面对比中，AI评判员在100%的有判定结果的对子中更青睐AI评审（132对中的132对），而盲法前期刊编辑在87%的判断中更青睐AI评审（30次中的26次）。值得注意的是，人类编辑与AI评判员的一致率平均为87%，而他们彼此之间的一致率为80%。

当AI评判员单独评估七个具体评审领域时，调优后的AI评审在来源、弱点和方法领域赢得了100%的有判定结果的对子，在图表领域赢得了99%。在其余三个类别（理论与想法、框架和表达）中，AI评审有92%的时间获胜。在0到10分的量表上，AI评审平均比人类评审高约2.6分，人类评审平均约为6分，这一差距在编辑样本中也类似。

研究人员进行了10组后续核查，以验证AI模型并非仅仅通过写更长的报告或使用更精炼的语气而获胜。当把比较限制在AI与人类评审字数相近的44对时，AI评审仍然100%获胜。将人类评审改写成模仿AI写作风格并未改善其排名，而且AI评审在稿件新颖性、研究方法、作者资历以及论文最终发表期刊质量的所有子组中都优于人类评审。比较两种AI设置显示，匹配AI条件在每个类别中的表现几乎与调优条件一样好，唯独来源领域例外——在那里，增加网络搜索权限将AI胜率从62%提高到100%。

对照稿件进行的事实准确性审计表明，启用网络搜索的AI评审包含零个捏造来源，其关于论文的陈述中有5.5%被AI评判员判定为不正确，大约是人类评审中发现的15.9%错误率的三分之一。为了验证AI评判员能够检测出错误陈述，研究人员在每份评审中插入了一句准确的话或一句与论文相矛盾的错误的话；评判员抓住了全部258句错误陈述，且没有标记出258句准确陈述中的任何一句。使用Claude Opus和GPT模型分别作为评审员和评判员，并采用不同的提示和评分标准，在416次比较中复现该研究，结果显示在Opus评判员下AI胜率为97.1%，在GPT评判员下为94.2%。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）