返回资讯中心
外部精选
软件工程
#社区热议

评委称AI研发论文同质化严重,缺乏真正创新

来源标题:I struggle to believe that AI R&D is ingenious

一位黑客松评委在审阅八篇论文后发现,这些论文在Pangram上的得分虽在60%到95%之间,但彼此高度相似,方法论含糊且不完整,普遍忽略了最直接的分析。作者认为AI研发缺乏独创性,仅在反馈周期短的爬山类任务中偶有突破,例如通过反复提示Astra将Scrabble合法走法列举的SOTA提升10倍。作者还指出Astra等模型生成的报告极难理解,常需问答式追问才能弄清内容。

Hacker Newsporridgeraisin2026/11/6 · 12 天前4 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上周末我担任了Apart黑客松的评委,评审了八篇论文,这些论文在Pangram上的得分都在60%到95%之间。可以预见的是,这些论文往往彼此非常相似,而且在方法论上以一种模糊但相似的方式不够完整,似乎忽略了最直接的分析。

也许重要的例外是某些具有快速反馈循环的爬山任务。例如,我只是反复提示Astra再努力一些、瞄准<特定性能水平>、“系统地尝试文献中每一个看起来有点相关的方法”等等,就把“列出所有合法的Scrabble走法”的SOTA提升了10倍。但即便在那个案例中,两次大的飞跃也是在我指出它应该考虑这样一个事实——你可以跨整局游戏来衡量,而不是针对随机局面——以及建议它尝试根据袋中剩余空白牌的数量(这会导致走法数量爆炸)为三种不同情况设计算法时发生的。

还有一个事实是,至少Astra(想必Claude也是)倾向于写出极难理解的报告,往往需要某种问答式的追问才能弄清楚它实际做了什么、关键结果是什么。也许存在一种诱惑,就是干脆说“随便吧”然后放任不管。

Joey KL3h3 2 这是想说明当前公开模型加速AI研发的能力,还是仅仅在评论它们完全自主做研发的能力? 我对它们能力的印象和你相当相似,但我仍然认为,它们有可能让我公司(量化对冲基金)在研发整体上生产力提高2倍,因为它们非常擅长快速实现实验。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →