返回资讯中心
外部精选
软件工程
#开发者实时流

Samuel Lampa 呼吁以科学方法评估 AI 能力

来源标题:We need more science in the judgment of AI

Samuel Lampa 指出,业界在评判大语言模型能力时,过于依赖个别主观上令人印象深刻的结果,缺乏科学依据的评估。他表示,若测试前未设定严格假设与评估标准,人们容易因结果而调整预期,而非依据预定标准严格评判,这类做法在科学界被称为 HARKing、p-hacking 等。

Hacker News 最新samuell2026/11/11 · 6 天前9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Samuel Lampa 2026年11月11日 1 分享 照片来自 National Cancer Institute,发布在 Unsplash 上 尽管大语言模型近来的进步在许多方面确实令人印象深刻,但我注意到了另一种趋势; 社区中许多人评判 LLM 的能力以及整个领域的未来时,依据的更多是单个结果带来的主观上令人惊艳的表现,而不是基于有科学依据的评估所作出的判断。 这个问题太常见了,而且骗过了太多人: 如果你在做测试之前没有设定严格的假设和评估标准,你就太容易被无论什么样的结果所左右。通常是因为你会让自己的预期去迁就结果,而不是依据预先设定的标准严格评估结果。 在科学界,这类行为有各种带有几分贬义的叫法,比如“钓鱼式探索”(phishing expeditions)、“HARKing”(即 Results are Known 之后再提假设,Hypothesizing After the Results are Known)、“p-hacking”(p 值操纵)等等,大体意思是:你去找点有趣的东西,找到了就写出来,却没有设置一个测试来看看这个结果是否真的站得住脚、而不只是偶然发现。 需要注意的是,这类活动对于生成假设可能很有价值,但它与科学检验不是一回事。要确立一个科学事实,你需要用事先精心设计、在数据收集之前就设定好的假设检验来支撑它。 我见到这种情况最常出现的方式,是人们(尤其是在 Twitter/X 上)对某些事情异常兴奋,比如他们能用前沿模型“一把过”(one-shot)写出某个游戏的代码。 他们往往没有意识到,这个领域在公开世界中充斥着大量训练数据,因此这个结果更多说明的是该领域已有数据的数量,而不是模型在全新输出方面的真实能力。 与此同时,我知道很多例子表明,由于缺乏训练数据,LLM 在某些领域表现不佳。例子包括 Zig 语言的编程代码,以及至少从历史上看还有 Nextflow 代码,这只是几个容易验证的领域。总的来说,生物学中这类领域比比皆是。 最近关于被宣传的“科学突破”后来被发现可能是在研究人员的聊天记录上训练出来的争议,并没有让我对这里的状况有更高的评价。 再举一个轶事:目前普遍的看法是,我们基本上可以用 Rust 重写所有生物信息学软件,从而消除大量软件问题。但在与一位深谙科学思维和工作方式、并参与这类工作的研究人员交谈后,我发现事情并没有那么简单。在那项工作中,他们后来不再用 LLM 直接翻译代码,而是现在用 LLM 来创建一个(确定性的)工具来完成翻译。Johan 有一个很棒的演示,这里还有一篇对他以及其他几位从事这类工作的人的精彩访谈。原因是模型仍然搞不定太多的边角情况。而且不难看出可能的原因;LLM 很擅长从它训练过的数据中捕捉模式。但并不是每个领域、每种工具的每个边角情况都必然被那些数据很好地覆盖。 我认为现在是时候在 LLM 的评估中引入更多科学精神了。为那些基本上只是对训练数据中无数现有例子的复述的结果而惊叹,乍看之下可能令人印象深刻,但不应该让一个有科学思维的人据此对模型在全新输出方面的能力做出影响深远的判断。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →