OpenAI与Ligo推出BioBasicsBench，评测AI智能体处理湿实验室日常任务能力
来源标题：Measuring how AI agents handle everyday wet-lab science
OpenAI联合生物科技公司Ligo发布BioBasicsBench，用于衡量AI智能体解读100项常规湿实验室任务原始实验数据的能力。该基准针对失败实验、模糊图像和矛盾观察等真实场景设计，弥补现有基于论文图表的基准无法覆盖的模糊性与排障需求。测试显示，GPT-6 Astra在多项任务上较GPT-5.6 Sol有所提升，但模型在部分环节仍存在不足。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
介绍 BioBasicsBench：一个衡量 AI agent 在 100 项日常湿实验室任务中解读原始实验数据能力的基准测试。
BioBasicsBench 内部
结果
GPT-6 Astra 相比 GPT-5.6 Sol 的改进
模型仍有不足的方面
迈向可靠的实验室辅助
BioBasicsBench 内部
结果
GPT-6 Astra 相比 GPT-5.6 Sol 的改进
模型仍有不足的方面
迈向可靠的实验室辅助
我们的使命是确保通用人工智能造福全人类。作为这一使命的一部分，我们希望帮助科学家加速生物学研究——从理解疾病到开发新疗法。要让 AI agent 做出贡献，它们必须能够可靠地解读科学家每天在湿实验室中处理的实验证据，湿实验室是科学家用生物样本进行实验的地方。日常湿实验室工作充满失败实验、模糊图像和相互矛盾的观察结果。现有基准测试围绕为科学论文挑选的图表和图像构建，可能忽略这种模糊性以及由此所需的故障排查。因此，我们推出 BioBasicsBench——一个与专注酶设计的生物技术公司 Ligo 合作开发的新基准，用于衡量 agent 处理日常湿实验室分析的能力。
该基准的 100 项任务检验 agent 能否解读原始实验数据、识别错误，并在证据不足以支持结论时加以识别。把这些任务做对很重要，因为误读图像或忽略用于检查实验结果的对照设置中的问题，可能会导致科学家得出错误结论，并把时间浪费在无法帮助回答其问题的实验上。
在允许每项任务进行更多推理的“xhigh”设置下，GPT‑6 Astra 平均获得 66.7% 的可用分数，而 GPT‑5.6 Sol 为 43.8%。结果表明日常实验室分析取得了进展，但在图像解读、对照核查和实验背景应用方面仍有进一步提升空间。
BioBasicsBench 使用原始实验证据，从凝胶图像和菌落平板到显微镜和仪器读数。
BioBasicsBench 包含 100 项任务，覆盖日常湿实验室工作的五个领域：蛋白质方法、成像与细胞术、定量与测定、核酸方法以及分子克隆。任务范围从简单请求（例如读取凝胶中 DNA 样本的分子量）到详细的测定分析，但都涉及湿实验室科学家应能可靠完成的日常工作。
科学家使用自己实验中的数据创建任务，为每个问题配以专家编写的评分标准。每项任务都经过内部评审——由未编写该任务的 Ligo 科学家进行；外部评审——由在湿实验室工作的博士级科学家进行；以及最终的内部评审。
Agent 返回结构化答案，包含所要求的结论、测量值或建议，并在需要时提供支持性推理。答案根据各项评分标准获得分数，使该基准能够区分正确结论与部分正确的分析。大多数任务同时测试多项技能，包括生物学知识、图像和其他数据的解读、错误检测以及实验方案理解。
“Unique tasks”对每项任务只计一次。技能列统计带有各技能标签的任务数。这些类别存在重叠：一项任务可能出现在多列中，因此技能计数不应相加来得到任务总数。颜色标识领域；颜色越深表示该领域中测试某技能的任务占比越大。
输入保留科学家所处理证据的形式：凝胶和印迹图像、平板照片、显微镜 Z 轴堆叠、测序 reads、酶标仪导出数据和实验台操作视频。一项任务可以包含多种数据。参考表（如 ladder 图表和质粒图谱）用于辅助解读实验证据。
琼脂糖 DNA 凝胶、SDS-PAGE 凝胶、Western blot
实验方案和 SOP、实验室笔记本和运行记录、手写笔记照片、目录、仪器规格、已发表方法
CSV 和 Excel 导出文件、泳道布局和清单、原始流式细胞术（FCS）文件
实验台、凝胶电泳槽、试剂管和培养管、PCR 板、管架、pH 试纸、浓缩仪、冰箱、液体处理工作站台面
原始明场和荧光图像、多通道图像集、Z 轴堆叠、延时视频
流式细胞仪、显微镜、NanoDrop、酶标仪和天平屏幕的照片；导出的标准曲线、色谱图和图表
原始长读长 FASTQ、FASTA 序列、GenBank 图谱
划线、接种、梯度稀释、SDS-PAGE 电泳槽和培养箱设置、天平称量
转化平板、蓝白斑筛选、抗生素纸片平板
Ladder 图表、质粒图谱、pH 图表（辅助材料）
包含各类数据的任务数量。类别存在重叠；参考表为辅助材料。
科学家使用自己实验中的数据编写任务，将实验证据与问题和专家编写的评分标准配对。每项任务都经过内部评审——由未编写该任务的 Ligo 科学家进行；外部评审——由在湿实验室工作的博士级科学家进行；以及最终的内部评审。评审者检查提示词、实验证据、评分标准、作者注释以及一次模型作答的评分结果。
答案根据任务评分标准评分，该标准为各项具体标准分配分数。视任务而定，这些标准评估结论、数值结果、支持性推理，或对证据不足的识别。
我们在 BioBasicsBench 上评估了七个模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估覆盖 37 种模型与推理强度设置，每种设置在 100 项任务上各尝试五次，共得到 18,500 个结果。
（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。