OpenAI 的 BioBasicsBench：100 项任务考 AI Agent 做湿实验

OpenAI 联合酶设计公司 Ligo 发布了一个新基准 BioBasicsBench，专门考 AI Agent 处理日常湿实验科学的能力。它和过去那些从论文精选图表做出来的基准不一样——它的 100 项任务，是科学家用自己实验里的真实数据写出来的，考的是"读凝胶、对对照、判结论"这种实验室日常。

100 项任务是什么

先给事实。BioBasicsBench 的 100 项任务由科学家用自己实验里的真实数据编写，覆盖日常湿实验室里科学家应当能可靠完成的分析，难度从简单到详细分析不等。典型例子：简单的是从凝胶里读出 DNA 样品的分子量，复杂的是完整的 assay 分析、错误识别、判断证据是否足以支撑结论。

每个任务都配专家写的评分标准（rubric），并经过三层审核：一位没参与写任务的 Ligo 科学家内部审、一位湿实验室的博士级科学家外部审、再做一次最终内部审。这个三层审核是为了让评分标准本身经得起推敲。

任务分布在五个领域：蛋白质方法、成像与细胞计数、定量与测定、核酸方法、分子克隆。它考的核心能力是三条：解读原始实验数据、识别错误、判断证据什么时候不足以支撑结论。任务通常同时考多种技能组合——生物学知识、图像解读、错误检测、方案理解、检查对照、运用实验背景。

数据类型分布

数据类型的构成，直接决定了一个 Agent 要被考什么。按任务数从多到少：

• 凝胶与印迹（琼脂糖 DNA 凝胶、SDS-PAGE、Western blot）：31 项
• 方案、笔记与规格（实验方案、SOP、实验记录本、手写笔记、仪器规格）：27 项
• 表格与仪器导出（CSV/Excel、泳道布局、流式 FCS 文件）：20 项
• 台面、仪器与试剂照片：18 项
• 显微成像（明场/荧光、z-stack、延时）：14 项
• 仪器屏幕与图表（流式、NanoDrop、酶标仪屏幕）：13 项
• 测序文件（FASTQ、FASTA、GenBank）：12 项
• 实验操作视频：7 项
• 琼脂平板与菌落：7 项
• 参考资料（Ladder、质粒图谱、pH 图表）：21 项

这个分布很关键：超过三成是"凝胶和印迹"，还有大量"方案和笔记"，说明它考的不是读论文里的漂亮图表，而是处理实验室里那种脏的、模糊的、手写的真实材料。

模型表现排名

评测规模不小：7 个模型、37 种模型与推理力度设置组合，每个设置对 100 项任务各跑 5 次，共 18500 条结果。在统一报告的 xhigh 推理力度下，按平均得分排：

几个信号。一是榜首 GPT-6 Astra 66.7% 对 GPT-5.6 Sol 43.8%，提升约 23 个百分点，差距很大；二是 Astra 的均值输出 token 反而更少（4704 vs 9099），不是靠堆 token 堆出来的；三是官方明确把 Astra 的领先归因于更强的原生多模态能力——这个结论对"科研 Agent 该配什么模型"有直接指导。

Astra 强在哪、还差在哪

官方给了正反两面的具体例子。强的一面：Astra 能识别数据"能证明什么、不能证明什么"，比如发现荧光检测通道重叠（525-540 nm）可能导致信号混淆，而不是仅凭亮度就下结论；能从照片里抓到阴性对照平板上标注的抗生素是"LB Kan50"（卡那霉素）、与实验用的氨苄西林不符，从而正确拒绝这个对照；能认出显微镜图像序列是 z-stack，而不是去找细胞消失的生物学解释。

弱的一面同样具体：它会让假设凌驾于对照之上，在菌落 PCR 凝胶里选了错误菌落；会忽略和偏好解释矛盾的数据（液泡明暗被焦距反转对比度）；菌落计数会漏数、把空白琼脂误计为菌落，高估约 12%，直接影响转化效率估算。

对科研 Agent 的启示

这个基准真正的意义，是让"日常实验工作"成为可改进的目标。官方说得很清楚：现有基于论文图表的基准，忽略了日常湿实验里的模糊和排障——失败的实验、模糊的图像、相互矛盾的观察，而这恰恰是科学家每天面对的。

对做科研 Agent 的人，三条启示。一是评测要拿真实、脏的数据，不是精选图表，否则测不出真实能力。二是多模态是硬门槛——这个基准里照片、凝胶、显微、仪器屏幕加起来占了一大半，纯文本模型基本没戏。三是"知道什么时候证据不足"和"给出正确答案"同等重要，甚至更难，Agent 要学会拒绝而非强行解释。

待观察的是，这个基准只覆盖湿实验日常，还没到更复杂的实验设计和推理；66.7% 的榜首也说明离"可靠助手"还有距离。但方向是对的：把 Agent 放到科学家真实的工作流里考，比刷论文问答榜更接近它最终要派上的用场。