OpenAI 11月6日公布 BioBasicsBench。这是一套和酶设计公司 Ligo 一起做的基准,用来衡量智能体能不能读懂湿实验室里的日常原始证据。湿实验室是科学家直接处理生物样本、跑实验的地方。基准共100项任务,材料包括凝胶图像、菌落平板、显微照片和仪器读数。公司写道,现有基准往往使用论文里挑选过的图表,可能避开实验失败、图像含糊和观察互相冲突的情况。
在各模型都报告了的最高推理档 xhigh 上,GPT-6 Astra 平均拿到 66.7% 的评分点,95% 置信区间是 60.3% 到 73.1%;GPT-5.6 Sol 是 43.8%,区间是 37.6% 到 50.0%。这两个区间不相交。同一档里,GPT-6.1 Sol 拿到 62.0%,区间是 55.6% 到 68.4%,和 Astra 的区间有重叠。
测的是读原始实验数据
这100项任务分成五个日常工作方向:蛋白质方法,成像与流式细胞术,定量与检测,核酸方法,分子克隆。题目从读凝胶上某个 DNA 样本的分子量,到更细的检测分析都有。公司强调,它们都属于湿实验室科学家应当能稳定完成的常规工作。
智能体拿到的是未加修饰的实验材料。按公告里的统计,含凝胶和免疫印迹的任务有31项,含规程、笔记和规格说明的有27项,含表格与仪器导出文件的有20项,含实验台和试剂照片的有18项,含显微的有14项,含仪器屏幕和曲线的有13项,含测序文件的有12项,含操作视频的有7项,含琼脂平板和菌落的有7项;另有21项提供梯子图、质粒图谱等参考页。一类任务可以同时带几种材料,这些数字不能直接加总。
题目由科学家用自己实验里的数据写成,并配上专家撰写的评分细则。每道题经过三轮审查:一名没有参与命题的 Ligo 科学家,一名在湿实验室工作的外部博士级科学家,以及最后一轮内部复查。审查范围包括提问、实验证据、评分细则、命题说明,以及一次已经打过分的模型作答。
智能体要返回结构化答案,给出结论、测量值或建议,必要时附上推理。分数按细则里的各条标准分别给分,因此答对结论但分析不完整,仍可能拿到部分分数。官方报告的指标叫 mean reward,也就是各题得分占可得分数的平均比例。它不是「实验做成了」的成功率。公司测了7个模型:GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna 和 GPT-6 Astra。一共37种模型与推理力度组合,每种组合对100道题各试5次,合计18500条结果。误差条是按整道题重抽样算出的95%置信区间,同一题的5次尝试会捆在一起。
Astra 明显高于上一代,和同代 Sol 的领先还不能算坐实
xhigh 是七个模型都报告了的最高推理档。按这一档的平均得分,从高到低是:GPT-6 Astra 66.7%,GPT-6.1 Sol 62.0%,GPT-5.6 Sol 43.8%,GPT-6 Luna 38.3%,GPT-5.5 35.4%,GPT-5.4 33.2%,GPT-5.2 31.2%。Astra 平均每题输出 4704 个 token,低于 GPT-5.6 Sol 的 9099,也远低于 GPT-5.2 的 27620。
Astra 相对 GPT-5.6 Sol 的提升比较清楚:两个区间完全错开。它和 GPT-6.1 Sol 的关系更含糊。66.7% 对 62.0% 看起来领先,但 60.3% 到 73.1% 与 55.6% 到 68.4% 相交,不能据此写成 Astra 已经稳定超过同代的 Sol。评测里没有 Claude、Gemini 或其他实验室的模型,也没有把这些分数拿去和既有生物基准对齐。公司自己的解释是:Astra 即便在较低推理力度下也明显好于 GPT-5.6 Sol,这可能和更强的原生多模态能力有关。这是厂商对自家结果的读法。
会看平板边缘的标签,也会承认数据不够
公告用三组例子说明 Astra 相对 GPT-5.6 Sol 改在了哪里。
第一组涉及细胞死活判断。GPT-5.6 Sol 根据一种用来标记死细胞的染料信号,直接把细胞判成死亡。可是探测器也能接收到第二种染料发出的光,只看亮度并不能支持这个结论。Astra 认出了这种重叠,并要求用更好的对照来把两种信号分开。公告给出的三通道图像里,第二种染料的检测窗口是 470 到 540 纳米,第三种是 525 到 580 纳米,两者在 525 到 540 纳米重合;重合会造成干扰,干扰有多大则没有测量。
第二组是一次 DNA 克隆实验。GPT-5.6 Sol 在阴性对照平板上没有看到菌落,并据此下结论。Astra 注意到平板边缘的标签写着 “LB Kan50”,这是卡那霉素,和实验所用的氨苄青霉素不是同一种抗生素,因此这张平板不能当作可靠对照。
第三组是一组显微图像,细胞在画面里时而清楚、时而消失。GPT-5.6 Sol 试图给「细胞不见了」找生物学解释。Astra 把它认成了 z-stack,也就是在不同深度连续拍摄的一组照片。
看反对照、漏掉反例,仍会把下一步实验带偏
公司写得很直接:更高的基准分数,还不意味着模型能在实验室里做出可靠判断。它举出的 Astra 失败例子,正好说明分数和可用性之间还有缝。
在一次菌落 PCR 判读里,Astra 能把两组条带区分开,却假定更大的 PCR 产物代表克隆成功,于是点名第4、6、7、8泳道。参考答案依据对照比较,选出的是第5、9、10泳道。第3泳道只有原始质粒的 PCR,提供旧质粒的位置;第2泳道同时出现两种图案,说明组装不完全时旧模板和新产物会并存。Astra 把两组条带的实验身份弄反了。按公告的说法,若据此纯化,下游拿到的会是错误的质粒。
在一张显微照片里,Astra 断言液泡(细胞内的隔间)通常比周围细胞更暗,尽管同一视野里也有显得更亮的液泡。焦点一变,对比就可以反转,所以「看起来更暗」不能写成通例。Astra 检查过多个区域,甚至提到对比会随焦点变化,随后却更看重它认为对焦更好的那些细胞,把较亮的反例留在了结论外面。
数菌落时,它的标记也不能可靠地对应到每一枚菌落:挨在一起的分不开,看得见的会漏掉,空白琼脂有时会被点成一枚。在公告展示的那块平板上,相对参考计数大约多算了12%。接种体积和稀释倍数固定时,菌落数偏高,会把 DNA 转入细胞的效率按同样比例抬高。
任务和评分细则都还没有公开下载
公告页没有提供数据集或评测代码的下载入口。外界因此无法按同一套题目复跑,也无法把其他公司的模型放进同一张表里。OpenAI 在文末提到,跟踪这些能力也有助于理解它们对生物安全和生物安保的含义,但页面没有单独给出这方面的分数。
读完这套基准,能确定的是:OpenAI 开始用科学家自己实验里的原始材料来考模型有没有把日常分析做对,不再只依赖论文配图;在自家模型的对照里,Astra 比上一代 Sol 明显提高,平均拿到约三分之二的评分点。不能确定的是,它在别人的模型上会排到哪里,以及 66.7% 放到真实实验室里是否够用。公司自己的反例已经说明,看反一次对照,或多数大约12%的菌落,就足以把下一步实验送去错误的方向。

