
物理学家用未公开难题测试AI,发现表现超预期
来源标题:I spoke to seven physics experts grappling with the AI revolution
班加罗尔国际理论科学中心教授Suvrat Raju用自己未发表解答的物理问题测试前沿AI模型,模型虽答错但表现超出预期。他随后与同事着手为AI构建理论物理基准,专门采用从未在网上出现过的私密研究问题,以避免模型因训练数据记忆而作弊。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Dan Kagan-Kans 2026年11月17日 67 分享 今天的文章由80,000 Hours赞助,这是一档探讨AI变革性影响的播客。 大约六个月前,班加罗尔国际理论科学中心的理论物理学教授Suvrat Raju让一个前沿AI模型求解一道物理问题。他提问并非因为需要知道答案。他其实早就解出了这道题。但他从未发表过这个解法——这使它成为检验AI物理能力的绝佳问题。 LLM是在整个互联网上训练出来的,所以如果某个物理问题在网上被讨论过,模型很可能已经知道它,甚至可能记住了答案。因此,对AI能力的公平测试需要聚焦于从未在网上出现过的问题。 模型没有正确回答Raju的问题,但表现比他预期的要好——好到让他觉得这个实验应该重复并进行规范化。他与一位同事一起,着手为AI创建一个理论物理基准。 他们向其他物理学家征集了一些私藏——那些微小但真实、他们一直没顾上整理以便公开展示的研究发现。他们要的是真正的研究工作,是人类顶尖领域专家需要大约一天才能解决的问题。 “我们的贡献者要么牺牲在其他地方发表的机会,要么就得专门为我们做一个小研究项目,”Raju写道。 等到所有问题和答案准备就绪时,AI也准备好了。在9月的一次学术研讨会上,Raju分享了初步结果,显示领先的AI模型能够独立解决约60%的问题。而当他与同事完成整套题目时,情况又进一步推进:GPT-6 Astra能解决近90%的问题。 他们好奇Astra在其余问题上卡在哪里,于是把人类写的解答给了模型,让它找出自己错在哪里。令他们惊讶的是,Astra辩称自己没有犯错——是人类错了。Astra指出了人类所写答案中的细微错误。实际上,Astra在50道题中答对了49道。而Astra唯一没答对的那道题,某种程度上是个陷阱题。 每个正确答案平均消耗的计算成本不到3美元——“比巴黎一杯咖啡还便宜”,正如Raju在一次演讲中所说——而且只需一次人类提示。 换句话说,Raju的TheoPhysEval基准在发布之前就已经饱和了。当Raju得知这一点时,他好几个晚上没睡好,内心混杂着震惊、兴奋和恐惧,难以分辨。 我问他这个基准是否会有第二版。他说不会。 Suvrat Raju,2024年。(图片由11thdimensionphysics通过Wikipedia提供。CC0 1.0) “人们给了我们他们能想到的最难的问题,”他告诉我。“我们某种程度上已经触及了人们能做的明确定义计算的天花板。现在,还有开放研究,你可以继续追问开放研究的问题。但那不是评估。” 为撰写这篇报道,我采访了Raju以及其他六位理论物理学家。所有人都描述了AI如何开始改变他们的领域。和程序员、数学家一样,他们和同事越来越多地在工作中使用大型语言模型。这极大地加快了许多人的计算和研究节奏,导致新论文激增,也带来了如何培养下一代物理学家的棘手问题。 但物理学在重要方面与数学不同,可能不会走同样的路径。它通过实验与现实世界紧密相连。而它最开放的问题如此开放,以至于不清楚AI能多快提供帮助。甚至有可能,AI至少在一段时间内,会让物理学家减少计算,更多地专注于老派的、更概念化的工作方式。 Raju并不是唯一注意到AI模型正在快速进步的物理学家。10月,一位土耳其物理学家在X上发帖称,Claude Opus 5.5重现了他博士论文的核心内容。那花了他一年时间和500页手算。Claude在10小时内复现了他的工作。 Ed Witten是当今在世被引用最多的理论家,他在最近的论文中致谢了Opus。该领域另一位杰出人物Juan Maldacena承认今年有两篇论文得到了OpenAI模型的帮助,并告诉我他用它“做一些计算、检索文献”,而且越来越多的物理学家发现AI在“过去可能太长的计算”方面很有帮助。 德克萨斯大学奥斯汀分校的物理学家Andreas Karch全天候运行AI智能体。“它基本上一天24小时都在运行。我总是让它做点什么,”他说。 Karch懊悔地承认,Raju基准中一个细微错误的答案是他写的。现在他把自己的旧论文交给Astra,检查遗漏的错误。“我现在一天看一篇论文。几乎每篇我发给它的论文,它都能说点什么。” Karch从OpenAI免费获得高级ChatGPT订阅,OpenAI乐于看到物理学家使用其模型。 本节目由80,000 Hours播客赞助,该播客由同名非营利组织出版,探讨有才华的人如何对世界产生积极影响。 他们认为先进AI可能使这十年成为历史上最重要的、最具挑战性的转型期之一。因此,播客定期推出聚焦AI带来的威胁与机遇的访谈。近期嘉宾包括: Google DeepMind的Neel Nanda谈读取AI思维的竞赛 记者Jasmine Sun谈数据中心遭遇的抵制 METR的Ajeya Cotra谈AI实验室的安全计划为何不尽如人意 前白宫工作人员(及Tim的前播客联合主持人)Dean Ball谈强大AI的深远影响 我们认为Understanding AI的读者会喜欢这档播客。请去看看!
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。