研究团队发布OWE-Bench基准,测试AI智能体长周期工程能力
来源标题:Introducing OWE-Bench for Long-Horizon Engineering Projects
研究团队发布OWE-Bench基准,包含26个长周期工程与研究任务,覆盖软件工程、物理工程、机器学习和科学计算。榜单上Claude Fable 5.2以54.6%居首,GPT-6 Astra为44.2%,Claude Opus 5.5为41.6%,均远未触及基准上限。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享
今天我们发布 OpenWorldEngineer(OWE-Bench),这是一个前沿编程基准,包含 26 个长周期工程与研究任务,覆盖软件工程、物理工程、机器学习和科学计算领域。
我们构建 OWE-Bench 的目的是检验 AI agent 能否在长周期工程项目中取得真实进展,这些项目从 GPU kernel 到飞机设计不等。每个任务都在未见过的用例上评分,并采用连续分值。这意味着,如果某个 agent 把程序加速到上限的一半,就能拿到 50%,而不是非通过即零分。
Claude Fable 5.2 以 54.6% 的得分位居当前排行榜首位,每次任务尝试平均使用 2.11 亿 token。GPT-6 Astra 以 44.2% 紧随其后,使用 8900 万 token;Claude Opus 5.5 以 41.6% 位列其后,使用 2.53 亿 token。没有模型接近该基准的上限。Fable 5.2 在全部四个领域领先,Astra 在物理工程和科学计算领域与它的差距只有几个百分点。该基准也成功区分了小模型和大模型,Inkling 和 Beam 分别仅得 1.1% 和 3.3%。
OWE-Bench 可在此处下载,并将随社区共同成长。下一个版本将向外部贡献者开放。
工程需要的不仅仅是记忆。工程师要读论文、查规范,并改造开源实现。工程师完成工作所需的知识,很多都无法仅从项目简介中找到。
OWE-Bench 的任务有两种形态。在脚手架式任务中,agent 从一个可运行的代码库出发,推动某个可测量的目标,例如 kernel 速度、延迟或误差。在端到端任务中,它要从一个裸环境构建完整产物:一个训练好的模型、一条数据流水线、一个机械设计。视任务而定,agent 每次尝试有 4 到 18 小时(中位数 8 小时),跑完所有任务一遍共需 257 个 agent 小时,硬件与任务匹配,例如 CPU 沙箱、NVIDIA H100 或 B300。有七个任务使用 GPU。
每个任务都始于一位领域专家提出一个源自其真实工作的项目。通过 Mercor 招募的领域专家撰写提案,描述相关公开工作、交付物以及如何验证。维护者审核提案后,专家构建任务环境及其自动验证器。
每个任务都要经过分层审核,只有获得三位人类审核者批准才能被接受。自动静态检查和 LM 辅助的评分量表会评估结构、可复现性、说明、评分设计和预算。我们还对任务评分质量进行了对抗性红队测试,以发现需要修复的问题。
评估从 agent 提交产物开始,例如模型 checkpoint、数据流水线、kernel 包、CAD 程序或飞机设计。随后由独立验证器离线评分,验证器在没有网络访问的情况下运行,使用未公开的留出输入在 CPU 和 GPU 上测试交付物。性能严格通过执行、仿真或几何分析来衡量,而不是靠模型判断。
任务以各自的单位报告分数(例如速度以毫秒计、准确率)。我们将它们统一到一个尺度上,使未改动的基线得分为 0%,任务上限得分为 100%。模型的任务得分是其八次尝试的平均值,排行榜得分是全部 26 个任务的平均值。我们审计了每一次试验是否存在 reward hacking。在 2,912 次试验中,有 39 次(1.3%)出现了利用漏洞的尝试。我们在评分中加入了 reward hacking 检查,会提高分数的漏洞利用会被记为零分。
Fable 5.2 在每个领域都领先。它在软件工程中得 62.2%,而 Claude Opus 5.5 为 49.7%(+12.2 个百分点);在机器学习中得 54.6%,而 Claude Sonnet 5.5 为 47.8%(+6.8 个百分点)。在物理工程(59.6% 对 57.3%)和科学计算(40.2% 对 39.4%)中,它与次优模型的差距要小得多,GPT-6 Astra 在这些领域处于误差范围内。
我们阅读了 Claude Opus 5.5、Gemini 4 Argon 和 GPT-6.1 Sol 在 26 个任务上各 8 次运行的轨迹(即总共 624 条轨迹),以了解它们失败在哪里。大多数失败的运行都有一个共同问题:模型用比任务实际测试更简单的测试来检查自己的代码。agent 在小输入、熟悉的数据或自己的模拟器上验证,然后交付的工作在任务实际要求的规模、温度或输入形状下就会出错。GPT-6.1 Sol 和 Gemini 4 Argon 还因为对练习数据过拟合而失分,例如添加只在公开样本上有效的捷径。
成本差异显著。GPT-6 Astra 得 44.2%,每次尝试花费 234.63 美元 token 费用;Claude Fable 5.2 平均得 54.6%,花费 105.08 美元;GPT-6.1 Sol 平均得 41.2%,花费 52.12 美元;Claude Sonnet 5.5 平均得 39.0%,花费 38.65 美元。
OWE-Bench 的全部 26 个任务完全公开:说明、起始代码、开发用例、评分锚点、评分器、隐藏测试集,以及用于生成它们的生成器和种子。评分器与排行榜使用的是同一套。
我们计划向社区开放 OWE-2.0,并在此处接受额外任务的提交。我们将很快分享更多细节,所有贡献者都将在未来版本中得到完整致谢。OWE-Bench 由 Mercor 的 Code Data 和 Research 团队构建。我们正在招聘,欢迎加入我们。
致谢:感谢 Chirag Mahapatra 从一开始就支持该项目,感谢 Victor Barres 的研究审阅和指导,感谢 Brad Johnson 协助市场推广,感谢 Harish Shankar 协助分析,感谢提出、构建、审核和审计任务的 Mercor 专家,以及更广泛的 Code Data 和 Research 团队。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。