OpenAI 发布药物化学推理基准 MedChemBench:99 题取自 117 篇论文与专利,GPT-6.2 Astra 以 84.5% 可得分居首
OpenAI 在 2026 年 11 月 20 日发布的官方博客中推出评测基准 MedChemBench,衡量 AI 模型在药物化学(medicinal chemistry)推理任务上的能力:把分子结构与实验证据关联起来解释结果、比较化合物、预测分子性质。基准的 99 道题取材自 117 篇论文与专利,覆盖 761 个不同的分子结构。OpenAI 同日在 X 上发帖确认发布,称这个基准「展示了我们的前沿模型在帮助科学家利用 AI 识别有前景候选药物方面取得的进展」;截至 11 月 21 日,这条帖子获得约 30.3 万次浏览和 3,679 个点赞。
成绩单是 OpenAI 自报的:在 11 个受测 GPT 模型共享的最高推理档位 xhigh 下,GPT-6.2 Astra 拿到 84.5% 的可得分(available credit),GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。第一名与第二名只差 1.2 个百分点,对 GPT-5.6 Sol 的领先则达 26.3 个百分点。
题目怎么出:把模型放回研究进行中的时点
MedChemBench 的大多数题目会把模型放回一项研究的某个中间时点:模型拿到的是当时已知的信息——生物靶点、研究者的目标、已经研究过的化合物,以及挑选出来的实验发现,然后要判断哪些化合物值得跟进。OpenAI 按四个组件打分。分子结构:模型要按给出的结构图和化学基团拼出分子,原子连接和指定的立体化学都必须正确;科学推理:解释要有给定证据支撑,比如为什么选这个化合物而不是那个;排序与选择:给出的化合物排序和取舍要满足题目要求;性质预测:预测要与原始文献报告的实测值和计算值吻合。
OpenAI 以可得分计分:预测值越接近实测值,拿到的部分分越多;题面里已经给出的实测数据,模型也必须原样复述正确。
PRMT5 示例题:两个化合物,不同的取舍
OpenAI 选来展示的示例题,取自癌症药物发现中针对 PRMT5 抑制剂的研究——PRMT5 是这一领域研究的一种蛋白。题目给模型分子结构和早期实验结果,要求预测三个相关化合物的表现:在细胞里阻断 PRMT5 的效力有多强、穿过细胞屏障有多容易、在体外实验中被肝酶分解得多快。
被扣下不给模型的后续实验,显示了这种取舍。OpenAI 的配图列出实测值:化合物 23(氨基类似物)在细胞实验中的 SDMA IC₅₀ 为 17 nM,化合物 24(羧酰胺类似物)为 29 nM——数值越低,效力越强。但化合物 24 更容易穿过细胞屏障,MDCKII-WT 通透性为 17,化合物 23 只有 11(单位 10⁻⁶ cm/s);它的人肝微粒体内在清除率也更低,小于 10 µL/min/mg(化合物 23 为 11),也就是被分解得更慢。配图注明,这些数据取自 Cottrell 等人 2024 年发表在《Journal of Medicinal Chemistry》的研究(Table 3),两个化合物的实验结构分别对应 PDB 条目 8VEU 和 8VEW。
OpenAI 用这道题点出药物化学的核心难题:对靶点的活性更强,并不必然伴随更好的通透性或更慢的分解。博客在配图旁写道:「小的化学改动可以产生不同的性质组合。」
同一道结构题,拼出三种分子
要推理化合物的性质,模型先得认对分子。化学结构图编码了原子连接、环结构和立体化学,MedChemBench 专门检查模型按图重建分子时是否保住了这些信息。一道题要求把一个中心结构与两个连接基团组装成完整分子,并保住一个 18 原子的大环。在共享的 xhigh 档位上,GPT-6 Astra 十次作答全部拼对;GPT-5.6 Sol 和 GPT-5.6 Luna 十次全部失败——前者把环缩成 15 个原子,后者干脆把分子拆成两个互不相连的片段。OpenAI 指出,这类错误改变的是被分析分子的身份:模型必须先准确表示化合物,才谈得上解释它的行为。
博客的图 1 摆出了这组对比:同一份输入(中心结构加两个标注基团),三个模型交出三种不同的「分子」。
组件成绩沿同一条线分布。OpenAI 报告,Astra 在 xhigh 档的结构组件拿到 95.4% 的可得分,但在化合物选择和数值性质预测上只拿到约一半,博客称这显示「预测和化合物选择还有很大改进空间」。GPT-6 Astra 最强的两项是重建分子结构和解释实验证据;OpenAI 还援引其预印本论文中的示例称,Astra 能正确识别结构变化,并权衡其对蛋白结合、吸收和代谢的可能影响。
推理档位能提分,抹不平模型差距
OpenAI 在不同推理档位(reasoning effort)下测试了 11 个 GPT 模型。完整基准上,GPT-6.1 Terra 在 xhigh 拿到 75.1%,比 GPT-6.1 Sol 低 6.9 个百分点,比 GPT-5.6 Sol 高 16.9 个百分点。把档位开到 max,GPT-6 Astra 从 83.3% 升到 83.8%——OpenAI 的结论是,更高的推理档位确实提分,但模型之间的差距依然明显。
博客的图 2 把成绩画在「分数-输出 token」坐标上:51 个模型与档位的组合,来自 GPT-5.6 及之后的 9 个模型,分数取 99 道题的平均,误差条为 95% 不确定区间,token 计数同时包含推理过程和最终答案。
OpenAI 自己划出的边界
博客结尾把这组成绩的适用范围说得很明确:结果不能证明模型能发现新药或改进实验室决策;基准取材自公开出版物,无法排除模型此前接触过这些来源;每个回答都是单次作答,过程中没有工具、没有反馈、也没有新实验;基准衡量的是从历史证据出发的推理,而不是真实世界的药物发现。
OpenAI 表示,相信 MedChemBench 能支持这个领域的持续进步,并期待随着模型进步分享更新。至于模型能否据此设计出更好的候选药物、改进真实的实验决策,这道题不在这 99 道题里。