
研究:AI审稿模型过度关注论文附录,或影响同行评审
来源标题:AI-driven scientific progress threatened by an obsession
一项美国研究发现,AI语言模型审阅科学论文时会过度关注附录等次要细节,而非论文主要发现,这种倾向已蔓延至人类同行评审。人类评审中针对附录的批评比例从长期低于11%升至最新评审的27.6%。模型将每段文字视为同等重要,导致反馈流于表面,难以帮助作者改进。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
发布时间:2026年11月16日
要点:较新的AI审稿模型执着于附录,而人类审稿人则关注论文的主体……
较新的AI审稿模型执着于附录,而人类审稿人则关注论文的主要发现。
语言模型将每一段文本都视为同等重要,因此它们无法分辨哪些章节真正关键。
这种附录偏好在不同访问方式下均持续存在,并产生流于表面的反馈,对作者改进论文几乎毫无帮助。
美国一项新研究表明,用于审阅科学论文的AI模型正在对论文附录产生一种奇怪的执着,而非关注正文内容,往往更关注次要的辅助细节,而非主要发现。随着语言模型越来越多地被用于辅助甚至替代人类审稿人,这一新发现的倾向似乎正在蔓延到人类同行评审中,可能阻碍AI研究的进展:
从这篇新论文中可以看到,在人类科学同行评审中,与附录相关的批评意见呈上升趋势。多年来该比例一直低于11%,但在最新一轮评审中达到了27.6%,此前发布的AI模型被发现其超过一半的批评意见来自附录。虚线标记了主要模型的发布时间。来源
在这项新研究中,研究人员对来自四个热门会议的2000篇科学论文进行了测试,发现较新的模型约50%至70%的批评意见来自附录,而较旧的GPT-5这一比例不到30%。
显然正在推动甚至人类审稿人也转向附录、远离更重要的主体结果的两个最突出的 newer AI模型是OpenAI的GPT-6.1-Sol和GPT-6-Astra,二者均于2026年发布。
“代际之间的差异很大。对于GPT-5,只有很小一部分弱点与附录有关。两个较新的模型GPT-6.1-Sol和GPT-6-Astra对附录的依赖要严重得多,而且这在每个会议上都成立。”
“这表明对附录的偏好主要是较新模型的特性。尽管新模型有所改进,但它们对附录的偏好却在增长。能够详细阅读论文并没有教会它们哪些部分最重要。”
研究还发现,这种对附录的执着因AI接收论文的方式而异,因为API、codex和网页界面评估PDF的方式并不相同——而且Codex根本不会阅读中等长度PDF的中间部分,如有必要,之后只会以“碎片”方式采样。然而,所有方法都被发现偏好附录材料。
“[人类]审稿人对待正文和补充材料的方式与LLM截然不同。LLM将其超过50%的弱点归因于附录相关材料,而人类这一比例不到10%。
“这种差异也体现在单篇评审层面。在2021年至2024年每年抽样的200篇论文中,总共只有159篇收到了包含任何附录相关弱点的人类评审。相比之下,ICLR 2027的所有200篇LLM生成的评审都至少包含一条附录批评。”
人类与AI生成的同行评审中附录相关批评的比较。人类审稿人仅将8.4%的已识别弱点归因于附录材料,而AI模型这一比例为62%。第二列显示仅涉及附录、正文中无对应问题的批评。
如上测试表所示,AI审稿人识别附录弱点的可能性是人类审稿人的七倍以上,仅针对补充材料提出批评的可能性是人类的三倍以上——这表明一些最新的前沿AI模型现在优先关注人类审稿人传统上视为论文主要科学贡献之次要的细节。
据目前所能辨别的情况(这是首个发现该综合征的研究),部分问题在于AI没有认识到,或者没有从其大量训练材料中获知,论文的附录通常不是核心内容所在之处;它们将所有文本视为同等重要的一般倾向忽略了附录材料的背景,而附录材料往往未经整理,呈现方式比正文粗糙得多:
“LLM几乎从不批评开篇页面,即论文界定问题并论证其重要性的部分。人类恰恰经常对这个问题界定提出异议,而LLM似乎接受它,然后直接转向数字。
“[人类和LLM]阅读附录的方式非常不同。人类的批评随着附录的深入而迅速减弱,在最后几页几乎消失。LLM的弱点则完全不减弱。事实上,LLM的弱点在附录中后段达到峰值,而非在开头,并且一直持续到第30页之后,而人类审稿人在那里几乎不提出任何关切。
“对LLM来说,第25页的一个细节和主要结果表格是同样合理的靶子。”
作者指出,LLM对文本的一视同仁可能自然导致它们更多地关注附录材料,因为如上所述,该材料往往包含更多错误。
因此,我从这项新研究中得到的高层观点是:LLM随着时间的推移,逐渐锁定到了新科学论文中一个容易发生大量错误或混淆的章节,仅仅因为人类作者经常将该区域视为次要证明和证据的杂乱堆放处。
因此,AI越来越觉得附录比精心整理的主体部分更有趣,因为那里有更多内容可供分析和纠正; consequently,论文指出,LLM倾向于将论文的前部视为事实性报告,照单全收:
“人类期望正文能够独立成立,因此当关键章节被推到附录时他们会提出异议。LLM几乎从不提出这种关切。
“这凸显了一个关键差异:人类认识到正文比附录承载更多分量,而LLM则不这样认为。”
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。