发展心理学家用AI审查自己研究的数据分析
来源标题:A developmental psychologist audits his own research with AI
一位发展心理学家利用AI编码代理审查自己的研究,尝试复现和批判其科学数据分析。他指出,公开文献中不可复现和错误极为常见,约半数心理学论文至少有一项统计检验因笔误或舍入误差等问题而表面不可能。他认为随着token和计算成本降低,计算可复现性与错误检查将很快普及。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
(本文接续我上一篇关于实验室AI新政策的文章。)
我正试着厘清AI给科学带来的挑战与机遇。尤其是编程智能体,它们提供了一种“核查”的可能——复现并评判科学数据分析。这种可能性非常令人兴奋:AI能帮我们发现并纠正自己工作中的错误。只要代码和数据公开可得,它还能帮我们发现已发表文献中的问题。这一切在一年前还显得有点不现实,但如今你若向一个前沿模型询问关于“高强度模式”的科学文献,它可能会顺理成章地深挖数据!随着token和算力变得更便宜,我猜想计算可复现性和错误核查很快就会无处不在。
撇开AI不谈,公开科学论文的代码和数据是一种伦理上的必需。透明度能帮我们应对一个事实:遗憾的是,不可复现和错误在已发表文献中极其常见。例如,大约一半的心理学论文至少有一项统计检验——由于笔误、舍入误差或其他问题——是表面上不可能成立的(见statcheck)。此外,计算可复现性——从同一份原始数据得出同样的数字——对已发表文献中的很大一部分是无法实现的(我们的一篇论文,一项更新的更大规模研究)。这就是为什么我把公开代码和数据定为实验室政策。
那么这项政策奏效了吗?还有——公开代码和数据帮我们避免错误了吗?
我一直在用AI智能体(Claude Code,尤其是搭配Opus 5.5,它在这方面相当擅长)对稿件做投稿前核查。我也有过一些场合用它来复现已发表的工作并提出评判(在同行评审流程之外,因为评审协议并不总是允许这么做)。另外,AI驱动的审计正越来越多地被用于对抗性目的——包括最近经济学领域一项备受瞩目的审计。于是,我带着几分忐忑,决定把镜头对准我自己的工作。
这是一次颇具挑战性的检验,部分原因是我合作广泛,我参与的许多论文是与自己实验室之外、常常是斯坦福之外的人合作完成的。有些合作是与大型联合体进行的。
我让Claude放手处理过去五年中我有作者身份的所有期刊论文。这涵盖了79篇论文。其中59篇是实证论文——其余是评论、综述、方法论文,或没有数据的阶段1注册报告。这是我使用的Claude skill。我详细查看了其中一些报告,但大多数并未核查。因此,这充其量只是一份初步报告,因为它依赖于复杂且带有随机性的AI分析。以下是我在透明度、可复现性、错误和隐私方面的发现。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。