AREX Viewpoint Article
What 90,000 Rollouts Reveal About AI Agents Doing Science - Ian Quigley, Leash Bio
导读
2026年10月，Leash Biosciences 发布了名为 Minos 的框架，把实验室里已经完成的分子与蛋白相互作用测量，打包成一套可交互的“预测量实验世界”。据 explainx.ai 的报道，智能体要在数百万个分子中、以约100个分子的预算寻找能与目标蛋白更好结合的化合物。与普通的模拟环境不同，这些世界里的每一次实验结果都早已被真实测过，Leash 因此握有完整的答案。
这决定了 Minos 的用途。Ian Quigley 在发布说明中强调，Minos 不是用来取得最佳科学结果的，而是用来理解 AI 智能体如何做出科学决策，并或许帮助它们做得更好。他进一步指出，正因为 Minos 掌握世界中所有实验的结果，评估才能越过最终得分，转向判断智能体在何时探索、何时放弃、是否重复测试同一分子等决策质量。
与发布同步，Leash 把材料交给了社区。Latent Space 的报道称，这一项目在两个月内成熟为 Minos，并在发布时一并推出完整预印本、博客与开放数据集；Quigley 也表示团队放出了成批的 Minos 世界供外界自行尝试，并公开数千份智能体交互记录。这让失败模式分析不再只发生在团队内部，而成为外部研究者可以复现和检验的对象。
Latent Space 的这期访谈正是在这一节点推出。作为此前 Leash Bio 播客的续篇，它把话题从“平台是什么”推进到“智能体在里面究竟怎样行动”：它们如何在这些庞大的动作空间中搜索，会不会利用先前实验的信息，哪些模型在药物化学任务上更强，又会犯下哪些错误。
访谈给出的一个关键判断是，智能体确实在从物理反馈中学习。Quigley 说，当环境中移除与分子相关的信息后，智能体的后续决策会变差，而模型权重并未改变，说明改进来自上下文内对实验结果的利用。另一个被他称为意外发现的结论是，更高效的模型更擅长及时放弃低产出环境；低效模型则容易过早放弃、反复测试同一分子，或坚持与自身假设不一致的分子。
需要说明的是，这些判断来自 Leash 自建的一批世界和访谈中的陈述，尚不能等同于对整个领域的定论；Minos 也把智能体限制在预先测量好的选项内，并非真正的实时实验闭环。但正因如此，它把“科学决策是否合理”变成了可复制、可比较的测量对象。这期视频的价值，正在于让读者看清这套答案已知的评估如何运作，以及它暴露出智能体哪些表面合理、实则系统性的推理缺陷。
核心结论
- Minos 把药物化学变成可大规模复现的预测量实验世界，让科学智能体在真实物理反馈中接受评估：Leash Biosciences 将数千种蛋白质与数百万种分子的结合数据打包成交互式环境，使智能体可以在有限预算内探索构效关系并获得即时反馈。这解决了传统评估缺乏真实物理约束的问题，让科学决策能力可以被标准化测量和比较。
- 科学智能体的真正分水岭不是最终分数，而是能否在有限预算下做出合理的探索与放弃决策：Minos 掌握整个实验世界的完整答案，因此能揭示智能体在决策过程中的深层行为差异。低效模型表现出过早放弃、重复测试和坚持与假设不一致的分子等系统性错误，而高效模型更擅长及时放弃低产出环境。
- 智能体确实在从先前实验结果中学习并改进后续选择，而非仅仅执行随机搜索：当实验环境中移除分子相关信息后，智能体的决策质量明显下降，证明它们在利用先前实验获得的结构-活性关系信息来指导后续分子选择。这种改进来自上下文内学习，而非模型权重的更新。
- 智能体生成的药物化学解释具有表面合理性，但公开交互记录将揭示其推理的系统性局限：智能体会用药物化学的叙事语言解释分子优劣，这些解释听起来合理却可能掩盖系统性缺陷。Leash 计划公开大量交互记录，使研究者能够通过分析失败模式来理解智能体推理的薄弱环节。
- Minos 的预测量约束使其评估更加标准化，并支撑从评估工具向大规模世界生成平台的演进：Minos 并非真正的实时实验闭环，而是将智能体限制在预先测量好的选项集合中。这种约束虽然降低了实验设计自由度，却使环境可以被大规模复制和比较。Leash 已积累约一千个蛋白质的筛选数据，并计划将新环境生成速度从每天两个提升到每天二十个。
观点拆解
1. Minos 把药物化学变成可大规模复现的“预测量实验世界”，让科学智能体在真实物理反馈中接受评估
-
Minos 将高通量物理测量数据转化为可交互的虚拟实验环境，让科学智能体像药物化学家一样实时探索：Leash Biosciences 的核心设计是把已经物理测量好的大规模筛选数据打包成虚拟环境，使智能体可以在其中探索、做决策并获得即时反馈。这解决了传统评估缺乏真实物理约束的问题，让科学决策能力可以在标准化条件下被测量。
“这让他们能够创建一个交互式虚拟环境，智能体可以在其中实时探索和做决策，就像药物化学家一样，获得即时反馈，但拥有海量的探索性实验。”
-
Minos 聚焦于构效关系任务，在有限实验预算下评估智能体优化分子结合能力的真实水平：Ian Quigley 明确将 Minos 的核心任务定义为构效关系问题：给定已知能结合目标蛋白的分子，智能体需要在有限预算内找到结合更好的分子。这一设定使评估更接近真实药物化学工作，而不是脱离物理约束的文本推理。
“我们花了很多时间研究的主要问题是构效关系问题。这里的想法是：我有一些分子，我知道它们能结合，比如说，结合到我想要它们结合的蛋白质上。我该如何改进它们？这是药物化学家非常常见的任务。”
“我们使用一个模型，比如语言模型，给出一个包含100个可用分子的列表。我们只告诉你目标，然后寻找与之结合最好的分子。不同的模型会尝试不同的搜索方法，采用不同的搜索策略，在资源使用方式上也各不相同。”
-
预测量环境使 Minos 不仅能评估任务结果，还能揭示智能体科学决策的质量与失败模式：因为整个实验世界的结果都是预先已知的，Minos 可以超越简单的任务得分，深入分析智能体的决策行为，例如过早放弃、重复测试相同分子、以及探索与利用的权衡。这种全知视角让评估从“做得好不好”升级为“决策是否科学”。
“因为我们不仅拥有可以用来评估智能体任务表现的结果，我们还知道整个场景或测量世界的全部结果。因此，你可以开始审视智能体在科学决策方面的质量。”
“我们看到一些有趣的行为，比如智能体过早放弃，找到与其余假设不一致的分子，在预算有限的情况下反复重新测试相同的分子，以及何时探索优于利用。事实证明，更高效的模型在放弃非生产性环境方面表现要好得多。”
2. 科学智能体的真正分水岭不是最终分数，而是能否在有限预算下做出合理的探索与放弃决策
-
Minos 的价值在于掌握完整答案，从而把评估从“最终结果”推进到“决策过程”：Minos 不仅记录智能体最终找到的分子质量，还掌握整个实验世界的完整答案，因此可以揭示智能体在决策过程中的深层行为差异。这意味着评估科学智能体的关键不再是单一结果，而是它如何做出科学决策。
“我们不仅拥有你可以用来评估智能体任务表现的结果，我们还知道整个测量场景或世界的完整结果。因此，你可以开始审视智能体在科学决策方面的表现。”
-
低效智能体表现出系统性决策错误：过早放弃、重复测试和坚持与假设不一致的分子：Minos 揭示出低效模型在有限预算下会犯一系列可识别的决策错误，包括过早放弃、重复测试相同分子，以及坚持与自身假设不一致的分子。这些行为模式比最终分数更能反映智能体的科学判断力。
“我们看到一些有趣的行为，比如有些智能体过早放弃，有些找到的分子与它们其余假设不一致，有些在预算有限的情况下反复测试相同的分子，还有关于何时探索优于利用的问题。”
-
更高效的模型更擅长及时放弃低产出环境，这是决策质量的分水岭：证据显示，更高效的模型在识别并放弃低产出环境方面表现明显更好。这说明科学智能体的真正分水岭不是最终分数，而是能否在有限预算下做出合理的探索与放弃决策。
“结果发现，更高效的模型在放弃低产出环境方面表现要好得多。这对我们来说确实是一个有趣的意外发现。”
-
Minos 的核心能力是规模化测量科学智能体的行为、错误和决策改进：Minos 的系统设计使其能够大规模测量科学智能体的行为、错误以及它们如何从物理反馈中学习，并判断新的训练配方是否真正改善了科学决策。这为评估和迭代科学智能体提供了可复用的基础设施。
“我认为最重要的一点是，我们开发了一个系统，让我们能够测量科学智能体的行为、它们可能犯的错误、它们如何从物理反馈中学习，以及新的训练配方是否改善了科学决策。我们有能力大规模测量这些方面。”
3. 智能体确实在从先前的实验结果中学习并改进后续选择，而非仅仅执行随机搜索
-
移除分子信息后决策质量下降，证明智能体确实在利用先前实验反馈：Ian Quigley 指出，当实验环境中移除与分子相关的信息时，智能体的后续决策会受到负面影响。这说明智能体并非只是在随机搜索，而是在上下文中利用先前实验获得的物理反馈来指导后续分子选择。
“当我们移除与分子相关的信息时，这些决策会受到负面影响。所以它们确实学到了什么。”
-
智能体在权重不变的情况下，仍能利用上下文信息优化未来选择：Quigley 强调，虽然模型权重没有被改变，但智能体确实在使用已有信息来做出更好的后续选择。这区分了“上下文内学习”与“参数更新”，表明智能体的改进来自对实验反馈的即时利用，而非重新训练。
“我们在这里并没有改变权重，但它们确实在利用信息来做出未来的选择。”
4. 智能体生成的药物化学解释具有表面合理性，但公开的失败模式分析将揭示其推理的系统性局限
-
智能体会用药物化学的叙事语言解释分子优劣，但这些解释只是表面合理：Ian Quigley 指出，智能体在评估分子时会主动给出药物化学式的解释，例如声称某个环结构是好的、某个氮原子是“痛苦的”。这些说法听起来像专业的药物化学叙事，但并不能证明其推理真正可靠，反而可能掩盖系统性缺陷。
“你会看到，比如说，“我认为这个环是好的，我认为这个氮原子特别痛苦”，或者类似的说法。他们会说出这些东西，而这些实际上是非常合理的解释，你知道，药物化学的叙事。”
-
公开智能体交互记录是揭示推理失败模式的关键步骤：Leash 计划发布大量智能体交互文本，Ian Quigley 特别鼓励社区将这些文本输入大语言模型，以分析其中的失败模式。这意味着公开数据不仅是透明度的体现，更是研究者系统性地发现智能体推理薄弱环节的基础。
“当我们发布所有这些文本时，每个人都应该查看它们。我个人最喜欢做的一件事就是拿一大堆文本，把它们输入大语言模型，研究不同的失败模式之类的东西。”
5. Minos 的“零延迟实验室闭环”是对真实实验闭环的近似，其约束反而使评估更加标准化和可扩展
-
Minos 并非真正的实时实验闭环，而是对真实闭环的近似：Ian Quigley 明确承认，Minos 不能完全等同于“零延迟的实验室闭环”。智能体只能在预先测量好的选项中进行选择，而不是像真实实验室那样自由设计并执行任意实验。这一区分有助于避免对 Minos 能力的过度解读。
“所以，说它是一个零延迟的实验室闭环并不完全准确，但它非常接近。”
-
预测量选项的约束使 Minos 的评估更加标准化和可复制：与真实实验中智能体可以“选择几乎任何东西”的自由度不同，Minos 将智能体限制在预先测量好的选项集合中。这种约束虽然降低了实验设计的自由度，却使得环境可以被大规模复制、发布和比较，从而为科学决策行为提供标准化的测量基础。
“他们是在部署过程中一步步做实验，这给了你大得多的自由度，因为你几乎可以选择任何东西。而在这里，你被限制在我们预先测量环境时所做出的选项数量之内。”
6. Leash 正在从评估工具走向大规模世界生成平台，计划将新环境产出速度从每天两个提升到每天二十个
-
Leash 已积累约一千个蛋白质对两个化学库的筛选数据，为大规模世界生成奠定基础：Ian Quigley 透露，自 Leash 项目启动以来，团队已经完成了约一千个蛋白质针对两个化学库的筛选。这一存量数据构成了 Minos 预测量世界的基础，也说明平台并非停留在概念阶段，而是已经具备可复用的实验数据积累。
“我们现在已经有大约一千个蛋白质，自 Leash 项目启动以来，针对两个化学库进行了筛选。”
-
Leash 计划将新环境生成速度从每天两个提升到每天二十个，目标时间设在 2026 或 2027 年初：Ian Quigley 明确表示，团队当前每天生成约两个新环境，但计划将这一速度提升到每天约二十个，并把实现目标的时间节点定在 2026 年初或 2027 年初。这一扩展路径显示出 Leash 从评估工具向大规模世界生成平台演进的明确意图。
“我们计划达到大约每天二十个新环境。这是我们的计划，目标是在 2026 年初或 2027 年初实现。”
“我们目前每天做两个。是的，我认为我们可以毫不费力地达到每天二十个。”
7. 语言模型在分子表征转换上的能力限制曾是一个被低估的瓶颈，推动 Leash 让模型直接处理 SMILES 而非依赖外部工具
-
SMILES 的多重表示特性要求智能体具备分子表征转换能力：Ian Quigley 指出，SMILES 本质上是用一维文本串表示分子图结构，而分子可以分支、成环，因此从不同起点遍历图会产生同一分子的多种 SMILES 写法。这意味着科学智能体若要在 Minos 环境中有效工作，就必须能够处理并转换这些不同的分子表征。
“SMILES 本质上是一个图，它表示穿过分子的一条路径，写成一维文本串。你可以想象从分子的不同点开始遍历这个图，因此同一个分子用 SMILES 表示会有多种方式。”
-
Leash 选择让语言模型直接处理 SMILES 转换，因为当时模型使用外部工具的能力不足：尽管 RDKit 等开源工具可以完成 SMILES 之间的转换，Leash 仍决定让语言模型直接执行这一任务。Ian 解释了两个原因：语言模型速度更快，而且当时模型还不擅长自主调用外部工具。这一判断反映了 Minos 设计时对语言模型能力边界的务实评估。
“有一些人们常用的开源工具包，比如 RDKit，可以完成这个转换。但我们希望语言模型来做，因为它们会更快，而且当时它们还不擅长自己使用工具。”
总结
Minos 的真正价值不在于给科学智能体打分，而在于第一次让科学决策过程本身变得可测量、可比较、可迭代。它揭示了一个关键事实：智能体确实在从物理反馈中学习，但其推理的可靠性远未达到表面叙事所暗示的水平。当评估从“做得好不好”升级为“决策是否科学”，科学智能体的竞争将不再围绕最终分数展开，而是围绕探索效率、放弃判断和推理透明度展开。这为整个领域提供了一个更诚实的起点。
信息源
视频来源
- An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio：
外部资料
- Leash Bio Minos: AI Agents Search 6M Molecules in 100 ...：
- Ian Quigley, PhD's Post：
- Lab-in-the-Loop at Compute Speed — Ian Quigley, Leash ...：
- Ian Quigley：
- Ian Quigley：
- Ian Quigley：