OpenAI 公布 Ironclad 合同任务评估：GPT-6 Astra 平均得分 55.0%，高于 GPT-5.6 Sol 的 41.6%

OpenAI 于 10 月 6 日发布《》，公布与合同管理平台 Ironclad 的研究合作结果：在 11 项合同工作流研究任务上，GPT-6 Astra 的平均判据得分（mean rubric score）为 55.0%，GPT-5.6 Sol 为 41.6%。OpenAI 称 Astra 是它第一个在 Ironclad 任务上训练的前沿模型；同一批任务中，每次尝试的估计平均耗时从 Sol 的 37.0 分钟降到 Astra 的 19.2 分钟。

这组数字来自 OpenAI 自己的评测，指出它没有独立验证。按的说明，这个分数统计的是模型满足任务判据的比例，而不是成功完成的合同比例。

图为 Superpower Daily 为这则报道配的插图：卡片搭出的关卡、购物车、天平与锁表示合同审批与采购流程。

对比用的是两个模型各自得分最高的推理档位

两个模型各取自己得分最高的推理档位：Astra 用 max reasoning（最高推理档位），Sol 用 high reasoning（高推理档位）。两者相差 13.4 个百分点；按分数比值计算，这一差距相当于约 32% 的相对增幅，explainx 提醒，把相对增幅读成「32 个百分点」会高估进展。

这 11 项任务覆盖法律、商务与采购三类工作。按 Superpower Daily 的报道，Ironclad 是 OpenAI 这项训练与评估计划里的第一家软件公司伙伴；OpenAI 在帖文中表示，正在邀请少量软件公司申请参与同类研究合作，并提到需要「可以安全用于研究的数据」。

Ironclad 与 OpenAI 的合作早于这次研究。据报道，Ironclad 从 2023 年起就在产品中使用 OpenAI 的模型，其 AI Assist 最初基于 GPT-4；2026 年 6 月，Ironclad 创始人 Jason Boehmig 加入 OpenAI，负责法律垂直领域的产品（）。

每项任务 8～50 条判据，逐项计分

每项任务按 8～50 条判据逐项打分，条数取决于复杂度。已公开的例子包括建立保密协议（NDA）的流程、创建采购审批流程，以及把一条可复用的法律条款改成符合请求方所选司法辖区的版本。

任务清单由 Ironclad 的员工以及在 OpenAI 内部使用 Ironclad 软件的人共同挑选。OpenAI 估计，一个有经验的用户平均每项任务要花 30～40 分钟。判据逐项记录，分数能显示模型在哪一步做对、在哪一步失败。

Ironclad 提供练习环境，训练任务来自 EDGAR 公开合同

Ironclad 提供了托管的产品环境供模型练习，OpenAI 的研究人员围绕有代表性的工作流构造合成任务，并用强化学习（reinforcement learning，以反馈引导练习）训练模型。

OpenAI 的训练数据披露写道，这些合成任务取自美国证券交易委员会 EDGAR 数据库里的公开合同，并做过剔除个人信息的过滤；训练和评估都没有使用 OpenAI 的客户数据、OpenAI 自己的合同，也没有使用 Ironclad 非公开的客户数据或合同。

OpenAI 称耗时数字是模拟估计

这些耗时数字不是生产环境里的实测时间。OpenAI 用的措辞是「每次尝试的估计时间」，帖文别处也出现「模拟时间」的说法；Superpower Daily 因此提醒，它们不能直接当作客户省下的人工成本。CryptoBriefing 依据这两个数字算出效率提升 48%。

采购审批流程里的阈值与审查环节

OpenAI 举的例子是搭建一套软件采购流程：超过一定金额的采购由 Finance 审批，部分请求要过 Security 审查，非标准条款交给 Legal 处理。智能体需要把这几条要求变成受理表单、文档模板、审批规则和最终协议的记录，并检查阈值两侧的请求：阈值以上要正确路由，阈值以下不能误拦。explainx 转述 OpenAI 的说法是，每一步点对还不够，整套流程要在它被设计覆盖的情形里都能正常运行。

OpenAI 在帖文中写道：「这凸显出，随着智能体在复杂合同任务上变得更擅长，人工监督仍然重要，完整的合同平台也依然不可或缺。」Superpower Daily 把这一点说得更直白：只要任务中途丢掉一条业务规则，软件公司能放心交给智能体处理的范围就有限。

内部模型得 63.7%，以及未解的问题

OpenAI 披露，开发期间使用的内部模型在同一批任务上达到 63.7%；公司表示希望把这类提升带到未来的模型上，这次发布没有伴随新的模型或产品宣布。

explainx 列出这次公布没有回答的问题：11 项任务中哪些失败、哪些判据最常失分，以及一个未在 Ironclad 任务上训练过的 Astra 版本会得多少分。因此，两个模型之间的差距有多少来自针对 Ironclad 任务的训练、多少来自模型本身的整体提升，仍说不清。CryptoBriefing 也提到，这套基准由一家公司与其一类客户群共同设计，能否推广到流程、行业或司法辖区不同的合同团队，仍是未解的问题。