返回资讯中心
外部精选
软件工程
#开发者实时流

WeirdML 基准测试缺少人类基线,作者称单人完成一项任务需数小时

来源标题:The WeirdML Benchmark (2025)

WeirdML 基准测试(2025)目前缺乏人类基线,难以进行实际对比。作者表示,人类完成其中一项任务需要数小时,而项目没有资金支持,因此难以组织专家参与。目前 METR 正在推进相关工作,可能是当前最现实的对比来源。

Hacker News 最新peter_d_sherman2026/11/17 · 昨天6 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

如果有真人基线(human baseline)就太好了,但在实践中很难做到。真人要完成其中一项任务,得花好几个小时。

我这个项目其实没什么经费,不过我可能会找到愿意出于兴趣做一项任务的人,或者等我自己出新任务时,亲自尽力做一遍。

我们真正想要的是让几位顶尖的研究者/ML 工程师来做,我知道 METR 正在推进这件事,所以这大概是目前我们拥有的、最接近真实对比的来源。

[-]LawrenceC2y2 0 如果有真人基线就太好了,但在实践中很难做到。真人要完成其中一项任务,得花好几个小时。

我猜,如果只允许用 copilot,每项任务不到 1 小时;如果允许用 o1 + Cursor 的 agent 模式之类,那会少得多。话虽如此,我觉得你会希望把真人限制在可比的算力、可比的次数上,而这似乎更难做到。

我这个项目其实没什么经费,不过我可能会找到愿意出于兴趣做一项任务的人,或者等我自己出新任务时,亲自尽力做一遍。

你不能做一项现有任务,是想借此感受一下难度吗?

[-]Håvard Tveit Ihle2y1 0 我猜,如果只允许用 copilot,每项任务不到 1 小时;如果允许用 o1 + Cursor 的 agent 模式之类,那会少得多。话虽如此,我觉得你会希望把真人限制在可比的算力、可比的次数上,而这似乎更难做到。

我原本想的是,真人基线应该在不使用 LLM 的情况下取得,否则我大可以把 prompt 转发给最好的 LLM,看看它们怎么做,也许再改进一下,那样人类水平就总是等于或高于最好的 LLM 了。

不过话说回来,现在人类通常也不是这么工作的,所以什么算「公平」的比较并不清楚。我想这取决于真人基线究竟要代表什么,而你在 METR 大概已经深入思考过这个问题了。

你不能做一项现有任务,是想借此感受一下难度吗?

我可以做,但那不会是很公平的比较,因为我已经看过许多 LLM 的解法,也知道什么方法有效。

做我自己新出的任务也不会完全公平,因为我对数据的了解会比它们多,但那肯定会更接近公平。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →