Vetto发布ScienceBench基准，测试前沿AI模型科研能力

Vetto ScienceBench：拓展前沿 AI 模型的科学能力

我们以 Terminal-Bench Science 的格式编写了 50 个新的数据分析任务，覆盖 14 个科学学科。每个任务都经过质量审核，每次试验在计入成绩前都经过审计。表现最好的模型通过了 49% 的试验。

Arthur Kamienski·Lucas Smaira·Vetto Research Team 分享 AI 能做科学吗？ Vetto Science Bench 模型结果 通过率，条形颜色从红色（低）到绿色（高）。一次试验只有在评分落在正确区间内，并且同时通过轨迹审计和泄漏审计时才算通过。50 个任务，每个任务和模型进行三次试验，使用 mini-swe-agent 脚手架。

每隔几个月，就会有另一个 AI 系统被介绍为能够做科学——无论是作为研究合作者、自主实验室助手，还是能够从头到尾运行实验和分析的 AI 科学家。这些都是大胆的声明，如果成立，将改变研究的方式。然而，如果不成立，依赖这些系统的实验室将发表看似自信但最终被证明是错误的结果。

问题在于，判断 AI 驱动的研究结果是否正确极其困难。许多科学基准测试的是模型知道什么，通过考试式问题、对既定事实的回忆或对已发表结果的复现，模型只要知道教科书上说了什么就能在这些测试中表现出色。另一方面，开放式研究很难评分，因为没有人事先知道正确答案，而一个错误的结果可能需要数年才会被发现。

不过，研究中仍有部分内容是可验证的。例如，研究中大量的日常工作是数据分析，而数据分析是可以检查的。虽然前沿模型确实已经非常擅长写代码，但它们仍然缺乏优秀研究赖以进行的判断力，比如决定应该对特定问题应用哪种方法。这种判断力正是我们应该让模型瞄准的目标。

Vetto Science Bench 正是为衡量这些编码基准无法捕捉的技能而设计的。每个任务将智能体置于一个终端中，提供真实数据和一个研究问题。要解决它，智能体必须探索数据、选择方法、检查该方法的假设是否成立，并交付一个答案或一个可运行的分析流程，我们将其与留出的真实答案进行评分。任务的构建方式使得仅靠教科书方法不够：数据中包含该领域细心的研究者会发现的特性，例如仪器伪影、选择效应或隐藏的交互作用，只有当分析考虑到这些因素时才能成功。

该基准由来自 14 个学科的 50 个此类任务组成，从 MRI 物理和地震学到群体遗传学和电池化学，它们基于对 100 多位科学家和研究人员关于 AI 在日常工作中不足之处的一项调查。我们让 13 个前沿模型运行了该基准，即使是最好的模型也有超过一半的时间失败。大多数模型失败率超过 80%，有五个任务没有任何模型解决过。

任务广泛分布在 14 个学科中。大多数来自地球科学、生物学、医学和物理学等经验科学，在这些领域数据分析是日常工作的重要部分，只有少数是纯统计学或数学。

学科构成。每个学科的基准任务数量。

在本文的其余部分，我们描述这些任务，走查其中一个任务，分析模型失败的原因，并解释我们如何确保任务公平。关于成本、试验时长和每任务性能的详细结果见附录。

Atlas 浏览我们的 OTS 数据集目录。 来自每个基准背后引擎的开箱即用数据集，包含每条轨迹、 评分标准和验证器日志。

每个任务都是一个自包含的环境，格式与 Terminal-Bench Science 相同。智能体获得一组数据文件、一段简短指令，以及一个装有 Python 和常用科学库的终端。根据任务不同，它提交最终答案或一个我们在留出案例上运行的求解器，隐藏的评分器以连续尺度对结果评分，例如误差、R² 或排名分数。

由于评分是连续的，每个任务有一个正确区间而非单一正确答案。该区间有一个边界，即通过阈值，任何超过它的结果都通过，结果有多好没有上限。我们通过让两个已经知道正确方法的求解者尝试该任务来设定阈值，并将其放置在他们的分数与最佳看似合理但错误的方法之间的余量处，后者必须仍然落在区间之外。

具体来说，这里是基准中的一个任务：一个医学成像问题，我们测试的每个模型都以相同的方式做错了。该任务基于这样一个事实：MRI 扫描仪可以测量组织中脂肪的含量，医生用它来追踪脂肪肝等疾病。在这个任务中，智能体获得测试对象的原始扫描，其中混入了已知量的油，必须编写一个程序来报告新扫描中每个点的脂肪百分比。

使任务困难的是测试对象中脂肪的种类。标准方法假设脂肪看起来像人类肝脏脂肪，但这里的油是不同种类，其部分信号隐藏在水信号中。智能体没有被告知样本是什么，因此细心的分析师会从数据中估计脂肪谱而不是假设一种。标准方法仍然可以无错误运行并生成看起来合理的地图，但其数值偏差几个百分点。在我们的首次测试运行中，我们尝试的每个模型都走了标准路线，误差达到允许误差的两到三倍。在整个基准运行中，只有 GPT-6.1 Sol 解决了该任务，三次尝试中成功一次。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）