AREX Feed Article
OpenAI 联合 Ligo 发布 BioBasicsBench：以 100 项真实实验任务测试 AI 智能体，GPT-6 Astra 得分 66.7%
OpenAI 于 11 月 6 日在官方博客发布新基准 ，由其与专注酶设计的生物技术公司 Ligo 合作开发。基准取材于真实实验的 100 项任务，测试 AI 智能体能否解读湿实验室的原始实验数据、发现其中的错误，并识别证据不足以支撑结论的情形。OpenAI 在同步发出的 中写道：「加速生物研究，始于把日常工作做对。」
据 OpenAI 公布的评测结果，7 款模型在 37 种模型与推理力度组合下各作答 100 项任务、每项任务重复 5 次，共产生 18,500 个结果。在七款模型均有报告的 xhigh 推理力度下，得分最高的 GPT-6 Astra 平均拿到可用分值的 66.7%，GPT-5.6 Sol 为 43.8%；OpenAI 同时说明，解读图像、检查对照组和运用实验背景仍有改进空间。
考什么：论文精选图表之外的原始实验证据
OpenAI 在博客中给出的出题理由是：湿实验室——科学家用生物样本做实验的地方——日常工作充满失败的实验、模糊的图像和互相矛盾的观察，而现有基准围绕为论文挑选的图表和图像搭建，可能测不出这种模糊性，也测不出随之而来的排查工作；读错一张图像，或忽略用来核验结果的对照组出了问题，都可能让科学家得出错误结论，把时间花在答不了自己问题的实验上。
100 项任务覆盖五类常规湿实验室工作：蛋白质方法、成像与流式细胞术、定量与检测实验、核酸方法、分子克隆；题目从简单请求——比如读出凝胶中 DNA 样品的分子量——一直到细致的检测分析，但按 OpenAI 的说法，都是湿实验室科学家应当能可靠完成的常规工作。
任务输入保留科学家实际面对的证据形态，一项任务可包含多种数据：凝胶与印迹图像（31 项任务包含）、实验方案与实验记录（27 项）、表格与仪器导出数据（20 项）、实验台与器材照片（18 项）、显微图像（14 项）、仪器屏幕与图表（13 项）、测序文件（12 项）、操作视频（7 项）、培养皿与菌落照片（7 项）；另有 21 项任务附带梯子图、质粒图谱等参考卡片作为辅助材料。OpenAI 注明各类别互有重叠。智能体需要交回结构化答案：题目要求的结论、测量值或建议，以及必要时的支撑推理。
科学家拿自己的实验数据出题，过三轮评审
出题人是科学家本人：每人用自己的实验数据设题，配上专家撰写的评分细则（rubric）。每项任务要过三轮评审——先由一位未参与撰写的 Ligo 科学家内部初审，再由一位在湿实验室工作的博士级科学家外部评审，最后再做一次内部复审；评审者要核查题目提示、实验证据、评分细则、作者备注，以及一份已经评过分的模型作答。
合作方 Ligo 在自述「打造操控化学与生物学的新一代工具，从酶设计起步」（builds next-gen tooling to manipulate chemistry and biology, starting with enzyme design），团队由横跨生物、化学、数学与计算机科学的研究者组成。
打分按评分细则逐条给分：依据任务不同，细则考察结论、数值结果、支撑推理，或对「证据不足」的识别。多数任务同时考察几种能力——生物学知识、图像与其他数据的解读、错误发现、对实验方案的理解。逐条计分把「结论正确」与「分析只有部分正确」区分开。报告指标为平均得分（mean reward），即任务得分占可用分值的百分比的平均值；95% 置信区间通过对整项任务重采样计算，每项任务的 5 次作答不被拆开。
成绩单：GPT-6 Luna 落后上一代，输出更多未必得分更高
| 模型 | 平均得分 | 95% 置信区间 | 每任务平均输出 token 数 |
|---|---|---|---|
| GPT-6 Astra | 66.7% | 60.3%～73.1% | 4,704 |
| GPT-6.1 Sol | 62.0% | 55.6%～68.4% | 5,238 |
| GPT-5.6 Sol | 43.8% | 37.6%～50.0% | 9,099 |
| GPT-6 Luna | 38.3% | 32.3%～44.5% | 13,120 |
| GPT-5.5 | 35.4% | 29.7%～41.0% | 11,135 |
| GPT-5.4 | 33.2% | 28.3%～38.4% | 13,717 |
| GPT-5.2 | 31.2% | 26.2%～36.3% | 27,620 |
按博客说明，xhigh 是七款受测模型均有报告的最高推理力度档位；受测的 GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol、GPT-6.1 Sol、GPT-6 Luna 和 GPT-6 Astra 均为 OpenAI 自家的 GPT 系列模型，结果出自 OpenAI 的自评。
表格之外有两个细节。其一，同为 GPT-6 系列的 GPT-6 Luna 只拿到 38.3%，低于上一代 GPT-5.6 Sol 的 43.8%；其二，输出更多并未换来更高得分：Astra 在 xhigh 下每项任务平均输出 4,704 个 token，GPT-5.6 Sol 是 9,099 个，输出最多的 GPT-5.2 每项任务平均 27,620 个 token，得分却垫底。OpenAI 从评测中读出的方向是：Astra 即使在低推理力度下也明显好于 GPT-5.6 Sol，这种提升暗示更强的原生多模态能力可能是改善日常湿实验室分析的关键——这是 OpenAI 的解读。
进步看得见：贴错的标签、重叠的通道、失焦的细胞
OpenAI 用三个例子说明 GPT-6 Astra 相对 GPT-5.6 Sol 的进步。
一道 DNA 克隆题里，阴性对照培养皿上没有菌落，GPT-5.6 Sol 就以此为依据下结论；Astra 注意到皿沿标签写的是「LB Kan50」——卡那霉素，而实验用的是氨苄西林——并据此拒绝把这块皿当作可靠对照。
一道细胞活性题里，GPT-5.6 Sol 依据 SYTOX 死细胞染料的信号把细胞判为死亡；但同一检测器也可能收到第二种染料 FUN-1 绿色信号的光，两个通道的检测窗口在 525～540 纳米重叠，亮度本身不足以支撑这个结论。博客注明，重叠窗口允许干扰存在，其大小并未测量。Astra 识别出这种歧义，要求补做能把两种信号分开的对照。
第三组图像里细胞忽隐忽现，GPT-5.6 Sol 去找细胞「消失」的生物学解释；Astra 认出这是 z-stack——沿不同深度逐层拍摄的一组显微图像。
失分也具体：假设压过对照、无视反例、数错菌落
OpenAI 同时用 Astra 自己的三个错例提醒：更高的基准分数，还不等于模型能在实验室里做出可靠判断。
一道菌落 PCR 题里，Astra 正确分辨出两组菌落条带，却假设更大的 PCR 产物代表克隆成功，据此推荐 4、6、7、8 号菌落；参考答案依据对照比较选出 5、9、10 号。两组的视觉分组没错，但 Astra 把两组对应的实验身份对调了——按它的选择做下游纯化，得到的会是错误的质粒。
一道显微图像题里，Astra 得出「液泡一般比周围细胞暗」的结论，尽管同一张图里就有偏亮的液泡：改变显微镜焦距可以让对比度反转。Astra 检查过这些区域、甚至提到对比度随焦距变化，最后却只把「偏暗」写进结论。
在数菌落这道常规测量题上，Astra 的计数标记没有可靠对准单个菌落：靠得近的菌落分不开、可见菌落漏标、空琼脂也被计成菌落，整块培养皿净多算约 12%。OpenAI 指出，在铺板体积和稀释倍数固定时，多算多少比例，DNA 导入细胞的效率估计就被抬高多少。
OpenAI 的落点：把日常做对，再谈生物安全与生物安保
OpenAI 在博客结尾给出的判断是：这些任务上的进步，能让科学家少花时间排查问题，多花时间决定下一步做什么实验；追踪这类能力，也有助于理解它们对科学进步、生物安全（biosafety）与生物安保（biosecurity）意味着什么。这条帖文于北京时间 11 月 7 日凌晨发出，截至上午 8 时许已获约 38.5 万次浏览、2,300 余次点赞。
不过 OpenAI 自己在博客里划出的界线同样清楚：更高的基准分数还并不意味着模型能在实验室里做出可靠判断。眼下这份成绩单上，最好的模型在 100 项常规任务里仍要丢掉约三分之一的可用分值。