AREXOpen in interactive Feed

AREX Feed Article

OpenAI 公告 Responses API 推理项与对话历史绑定:GPT-6.2 编辑早期消息将丢弃其后推理,新增工具可检测

November 20, 2026

OpenAI 面向开发者的官方 X 账号 @OpenAIDevs 于北京时间 11 月 20 日早上 7 点 56 分(11 月 19 日 23:56 UTC)连发四条帖子,宣布 Responses API 的一项行为变化:自最新前沿模型(GPT-6.2)起,每个推理项(reasoning item)与其之前的对话历史绑定,编辑早期消息会导致 API 丢弃该变更之后紧跟的推理(公告原文)。公告开头先交代收益:在 Responses API 中使用 GPT-6.2 的 agent(智能体)可以借助此前轮次的推理,用更少 token(词元)、更多缓存命中(cache hits)产出更好结果——这是 OpenAI 对自家模型的表述。

同一组帖子还公布了两项配套工具:Responses API 新增 input_transformations 对象,开发者平台 Usage dashboard(用量面板)新增 Reasoning removals(推理移除)板块,用于帮开发者发现这类丢弃(第二条帖子)。配套指南 Keep the prefix unchanged 已上线(指南链接),公告线程末尾附的就是这份文档。上述机制均为 OpenAI 对自身 API 行为的官方描述,公告与文档口径一致,尚无独立测试加以验证。

什么算前缀变更,丢推理的代价是什么

文档 Keep the prefix unchanged 给出了更具体的口径:自较新的前沿模型起,作为 OpenAI 安全防护机制的一部分,API 会丢弃前缀变更之后跟随的推理项(Keep the prefix unchanged);推理模型指南也确认,对较新的前沿模型,推理项之前的历史一旦变更,API 可能丢弃该推理(推理模型指南)。这里的前缀(prefix)指某个推理项之前的对话历史。构成前缀变更的操作包括:缩短一条工具返回结果、改写 developer message(开发者消息)、把较早轮次替换成摘要;更新 tools 或 text.format 这类请求参数、在 GPT-6.2 之前的模型上改 instructions、编辑较早的 input 条目,也都会在无意中改掉前缀。

后果链条文档写得直白:推理项被丢弃后,模型可能要重做一部分推理,token 用量、成本和延迟随之上升;如果丢掉的推理无法恢复,输出质量也可能下降。至于为什么这么做,另一处文档把这一行为归入反蒸馏(anti-distillation)防护(Preserved reasoning)。缓存逻辑也在同一份指南里:提示缓存(prompt caching)从请求开头匹配,前缀一变,从变更点开始的缓存复用就被切断;只追加内容能让更多对话留在可复用范围内,从而明显降低输入成本、加快响应。公告附带视频里的开发者平台首页横幅则写着 “To get the most out of GPT-6.2, make your integration prefix aware”(要充分发挥 GPT-6.2,请让你的集成具备前缀意识),把这条新规则写进了平台横幅。

两处新增的排查入口

按公告,调整 agent 的 reasoning effort(推理力度)或添加工具,有时会导致非预期的前缀编辑,取决于这些改动如何应用。为此,OpenAI 在 Responses API 和开发者平台里各加了一处排查入口(第二条帖子)。

第一处是 Responses API 响应中的 input_transformations 对象。文档写明:它会列出 API 从输入中移除了哪些推理项、原因是什么;若原因标记为 prefix_mismatch(前缀不匹配),可以把该条目的 id 对回早前响应 output 里的对应推理项,定位是哪次输入改动触发了丢弃。第二处是 Usage dashboard 新增的 Reasoning removals 板块。

文档还提示了第三条路径:Prompt Cache Diagnostics(提示缓存诊断)可以把一次请求与早前响应做对比——将 prompt_cache_options.comparison_response_id 设为早前响应的 id,再查看诊断原因与缓存 token 数(Prompt Cache Diagnostics)。文档同时写明限制:诊断按 best-effort(尽力而为)报告发现的第一处差异,且无法验证模型是否真的复用了推理。

官方推荐的写法:把改动追加到上下文末尾

针对常见的改前缀操作,Keep the prefix unchanged 文档逐一给出追加式(append-only)替代方案。要调 reasoning effort:不在请求层面改 reasoning.effort,而是往输入列表追加一条 configuration_update 条目,原请求级设置保持不变;要换结构化输出 schema(输出格式定义):同理追加 configuration_update。要加工具:用 additional_tools 条目——以 developer 角色追加 tools 数组、按原位置重放、保持既有工具定义顺序——或在轮次内用 tool_choice 的 allowed_tools 限制可调用范围。要更新开发者指令:不改第一条 developer message,而是在上下文末尾追加新的 developer message;对 GPT-6.2 起的模型,顶层 instructions 用作轮次级指令,文档说明它们会被排在 input 之后,其 token 按未缓存输入价计费。

工具输出也在清单上:与其事后截断早前的工具输出、文件或图片(这同样改变前缀),不如在第一次发给模型之前就缩短或压缩。官方在第三条帖子里把建议压成一句话:在 Responses API 里使用 GPT-6.2 Astra 或 Sol 时,保持对话历史不变、以追加新轮次的方式构建 agent,而不是编辑早期消息,让推理跨轮次保留、让 agent 在既有工作上继续而不是重复(第三条帖子)。

开发者追问:上下文压缩算不算「编辑早期消息」

公告发出几分钟后,回复区里出现了同一类追问。开发者 Krrish 问:「上下文压缩也算编辑早期消息吗?」(回复);Shubham Malhotra 的版本更直接:「所以上下文压缩现在也会把截断之后的所有推理丢掉?基本上每个长时运行的 agent 都是这么做的」(回复)。小安 Anleo 写道:「编辑历史现在有成本了。重试的时候得只动后面的消息」(回复)。

文档对压缩留了例外:OpenAI 自家的 compaction——通过 /responses/compact 端点或 context_management 实现——即使改动了前缀,也会保留其后的推理项;调用 /responses/compact 时应省略 instructions,并把返回的窗口按原顺序传入下一请求。自研压缩则有两个去处:要么把压缩条目放到模型上下文末尾,而不是放在最近几轮之前;要么接受其后推理项被丢弃。开发者 Rogu 则在回复里写道:「如果我没读错,这听起来像一次降级」(回复)。

第三方视角:一次「安静的失败」

GPT-6.2 系列(Astra 与 Sol 两个型号)上线不久,网关服务商 AIHubMix 在其 GPT-6.2 迁移指南中把这条规则列为迁移头号事项,并归纳 OpenAI 文档称:除前缀编辑外,模型降级、终端用户或组织变更也会触发推理丢弃;该文称推理指南列出的移除原因包括 prefix_mismatch(早前内容被插入或编辑)与 end_user_mismatch(复用请求的 safety_identifier 与创建时不一致)(AIHubMix 迁移指南)。

AIHubMix 对这类丢弃的定性是「安静的失败」(quiet failure):请求仍会返回答案,但答案可能更差,模型可能花 token 重做已经做过的工作——请求本身不会报错。该文给出的排查顺序与 OpenAI 一致:agent 突然变笨时,先查 input_transformations 里的推理移除记录,而不是先调高 reasoning effort。截至发稿,Usage dashboard 里新增的 Reasoning removals 板块仍只有公告给出的名称与用途,本文核查的 OpenAI 文档尚未补充它的具体口径。

参考链接

  • @OpenAIDevs 公告:推理项与对话历史绑定
  • @OpenAIDevs:非预期前缀编辑与两项检测工具
  • @OpenAIDevs:保持历史不变、追加新轮次的建议
  • OpenAI 文档:Keep the prefix unchanged
  • OpenAI 文档:Reasoning models
  • OpenAI 文档:Preserved reasoning
  • OpenAI 文档:Prompt Cache Diagnostics
  • AIHubMix:GPT-6.2 migration – prefix edits drop reasoning, and none is rejected
  • Krrish 的回复
  • Shubham Malhotra 的回复
  • 小安 Anleo 的回复
  • Rogu 的回复