
开发者评审Apart黑客松论文:AI研发能力遭质疑
来源标题:I struggle to believe that AI R&D is ingenious
开发者评审Apart黑客松的八篇论文后发现,AI生成的论文在Pangram上得分60%至95%,但彼此高度相似且方法论不完整。作者认为AI仅在反馈回路快的爬山类任务中表现突出,例如通过反复提示Astra将拼字游戏合法走法列举的SOTA提升10倍。此外,Astra生成的报告极难理解,往往需要问答式追问才能弄清内容。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
上周末我担任了一场Apart hackathon的评委,评审了八篇论文,这些论文在Pangram上的得分都在60%到95%之间。不出所料,这些论文往往彼此非常相似,而且在方法论上以一种模糊但相似的方式不完整,似乎忽略了最直接的分析。
也许重要的例外是某些具有快速反馈循环的爬山任务。例如,我只是通过反复提示Astra更努力地尝试、以<特定性能水平>为目标、“系统地尝试文献中每一个似乎有点相关的方法”等,就把“列出所有合法Scrabble走法”的SOTA提升了10倍。但即使在那情况下,两个重大飞跃出现在我说它应该考虑到可以跨整局比赛而非每个随机位置来测量,以及建议它尝试根据袋中剩余空白牌的数量(这会导致走法数量爆炸)为三种不同情况设计算法时。
还有一个事实是,至少Astra(想必Claude也是)倾向于写出极难理解的报告,往往需要进行某种问答式盘问才能弄清楚它实际做了什么以及关键结果是什么。也许有一种诱惑,就是干脆说“随便吧”然后让它放手去干。
Joey KL1h3 2 这是想说明当前公开模型加速AI研发的能力,还是仅仅是对它们完全自主做研发能力的评论?
我对它们能力的印象和你相当相似,但我仍然认为它们 plausible 地让我们公司(量化对冲基金)在研发整体上提高了2倍生产力,因为它们非常擅长快速实现实验。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。