OpenAI 联合 Ligo 推出 BioBasicsBench，评测 AI 智能体处理湿实验室日常任务的能力
来源标题：Measuring how AI agents handle everyday wet-lab science
OpenAI 与生物科技公司 Ligo 合作推出 BioBasicsBench，用于衡量 AI 智能体解读原始实验数据、应对湿实验室日常任务的能力。该基准包含 100 项常规湿实验室任务，覆盖失败实验、模糊图像和相互矛盾的观察结果等现有基准容易忽略的场景。测试显示 GPT-6 Astra 相较 GPT-5.6 Sol 有所提升，但模型在某些方面仍存在不足。
以下正文由 AI 翻译自 OpenAI（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
推出 BioBasicsBench，一个衡量 AI 智能体在 100 项日常湿实验室任务中解读原始实验数据能力的基准测试。
BioBasicsBench 内部 结果 GPT-6 Astra 相较 GPT-5.6 Sol 的改进 模型仍存在不足的方面 迈向可靠的实验室辅助 BioBasicsBench 内部 结果 GPT-6 Astra 相较 GPT-5.6 Sol 的改进 模型仍存在不足的方面 迈向可靠的实验室辅助 我们的使命是确保通用人工智能惠及全人类。作为这一使命的一部分，我们希望帮助科学家加速生物学研究——从理解疾病到开发新疗法。要让 AI 智能体做出贡献，它们必须能够可靠地解读科学家日常在湿实验室中使用的实验证据；湿实验室是科学家用生物样本开展实验的地方。日常湿实验室工作充斥着失败的实验、模糊的图像和相互矛盾的观察结果。现有基准测试围绕为科学论文挑选的图表和图像构建，可能忽略这种模糊性以及随之而来的故障排查需求。因此，我们推出 BioBasicsBench——一个与专注酶设计的生物技术公司 Ligo 共同开发的新基准，用于衡量智能体处理日常湿实验室分析的能力。
该基准的 100 项任务检验智能体能否解读原始实验数据、识别错误，并判断证据何时不足以支持某个结论。把这类任务做对很重要，因为误读一张图像，或忽视用于核对实验结果的对照出现了问题，都可能让科学家得出错误结论，并把时间花在无法帮助回答其问题的实验上。
在“xhigh”设置下（该设置允许每项任务进行更多推理），GPT‑6 Astra 平均获得可用分数的 66.7%，而 GPT‑5.6 Sol 为 43.8%。这些结果显示了日常实验室分析方面的进展，但在解读图像、检查对照和应用实验背景方面仍有进一步提升的空间。
BioBasicsBench 使用原始实验证据，从凝胶图像和菌落平板到显微图像和仪器读数。
BioBasicsBench 包含 100 项任务，覆盖日常湿实验室工作的五个领域：蛋白质方法、成像与细胞术、定量与测定、核酸方法以及分子克隆。任务范围从简单请求（例如读取凝胶中 DNA 样本的分子量）到详细的测定分析，但都涉及湿实验室科学家应当能够可靠完成的日常工作。
科学家使用自己实验中的数据创建这些任务，为每个问题配上专家编写的评分标准。每项任务都经过一位未参与编写该任务的 Ligo 科学家内部审核、一位在湿实验室工作的博士级科学家外部审核，以及最终的内部审核。
智能体返回结构化答案，包含所要求的结论、测量值或建议，并在需要时给出支持性推理。答案根据各项评分标准获得分数，使该基准能够区分正确结论与部分正确的分析。大多数任务同时测试多项技能，包括生物学知识、图像及其他数据解读、错误检测和实验方案理解。
“Unique tasks”对每项任务只计一次。技能列统计带有各技能标签的任务数。这些类别存在重叠：一项任务可能出现在多列中，因此技能计数不应相加来得到任务总数。颜色标识领域；颜色越深，表示该领域中测试某技能的任务占比越大。
输入保留了科学家实际使用的证据形式：凝胶和印迹图像、平板照片、显微图像堆栈、测序读段、酶标仪导出数据和实验台操作视频。一项任务可以包含多种数据。参考图表（如 ladder 图和质粒图谱）用于辅助解读实验证据。
琼脂糖 DNA 凝胶、SDS-PAGE 凝胶、Western blot 实验方案和 SOP、实验记录本和运行记录、手写笔记照片、产品目录、仪器规格、已发表方法 CSV 和 Excel 导出文件、泳道布局和清单、原始流式细胞术（FCS）文件 实验台、凝胶电泳槽、试剂管和培养管、PCR 板、试管架、pH 试纸、浓缩仪、冰箱、液体处理工作站台面 原始明场和荧光图像、多通道图像集、z 轴堆栈、延时影片 流式细胞仪、显微镜、NanoDrop、酶标仪和天平屏幕的照片；导出的标准曲线、色谱图和图表 原始长读长 FASTQ、FASTA 序列、GenBank 图谱 划线、接种、梯度稀释、SDS-PAGE 电泳槽和培养箱设置、天平称量 转化平板、蓝白斑筛选、抗生素纸片平板 Ladder 图、质粒图谱、pH 图表（辅助材料） 包含各类数据的任务数量。类别存在重叠；参考图表为辅助材料。
科学家使用自己实验中的数据编写任务，将实验证据与问题和专家编写的评分标准配对。每项任务都经过一位未参与编写该任务的 Ligo 科学家内部审核、一位在湿实验室工作的博士级科学家外部审核，以及最终的内部审核。审核者检查了提示词、实验证据、评分标准、作者注释以及一次模型作答的评分结果。
答案根据任务评分标准评分，评分标准为各项具体标准分配分数。视任务而定，这些标准评估结论、数值结果、支持性推理，或对证据不足的识别。
我们在 BioBasicsBench 上评估了七个模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估覆盖 37 种模型与推理强度设置，每种设置在 100 项任务上各尝试五次，共得到 18,500 个结果。
（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。