AREXOpen in interactive Feed

AREX Feed Article

OpenAI 官宣 Performance Factory:Codex 多 agent 自动排查 ChatGPT 性能回归,官方称三个多月追踪超 1,700 起调查

November 19, 2026

OpenAI 于 11 月 19 日在官网发布博客《How OpenAI's Performance Factory keeps ChatGPT fast》,详细公开其内部用 Codex 搭建的「Performance Factory」系统:性能告警触发后,多个 Codex agent 在云端接力调查 ChatGPT 的性能回归、提出修复供工程师评审,部署后再由另一个 agent 验证性能是否恢复。同日,OpenAI 开发者官方账号 @OpenAIDevs 在 X 上连发四条帖文同步介绍,发布时间为 UTC 11 月 19 日 17:42(北京时间 11 月 20 日凌晨)。按官方自述,其中首个落地的 Regression Workflow 在过去三个多月里追踪了超过 1,700 起调查,其中超过 600 起确定了根因,折算约每天 17 起自动调查。

这篇博客由 OpenAI 技术成员(Members of Technical Staff)Okay Zed 与 Cyrus Forbes 署名。博客描述的转变是:过去一次变慢要靠工程师人工分析指标与日志;现在调查由以 service identity(服务身份)运行的 Codex agent 完成,工程师保留评审合并、架构取舍等需要判断的环节。文中的机制描述与全部数字均为 OpenAI 官方自述口径,尚无独立验证。

从检出到验证恢复:六个步骤与四个部件

@OpenAIDevs 的第三条帖文与博客给出了同一套机制。Performance Factory 由四个部件组成:定义工作流的 task service、给就绪任务分派 agent 的 dispatch loop、在云端运行 Codex 的内部 API,以及在评审评论、失败的 CI(持续集成)检查或部署完成等事件发生时唤醒 agent 的订阅机制。工程师在 task service 里用配置文件和 Markdown 提示词定义工作流——博客给出的示例是一个 code-change 任务目录,含 config.toml 配置和 implementing.md、reviewing.md 两份提示词;配置列出任务可以处于哪些状态、允许哪些状态转移、哪些步骤必须由工程师完成。所有工作流在一个 UI 里可见,任务可以转发给更有上下文的同事。

Regression Workflow 把一次性能回归的处置拆成六步:检出、找根因(agent)、提修复(agent)、评审与部署(工程师)、验证恢复(agent)、解决;对应任务状态则为 needs investigation、root caused、fix proposed、resolved 几档。告警触发时任务自动开启,由 agent 逐级推进。任务的状态与发现记录在任何单个 agent 的上下文之外,因此工作可以在 agent 与工程师之间交接,并在代码评审或部署后恢复。dispatch loop 周期性检查哪些任务进入下一步的就绪状态,按任务当前状态对应的指令开启一个 Codex turn 来分派 agent;agent 完成该步后把任务推进到下一状态。

云端执行环节,OpenAI 通过内部 API 以编程方式发起 Codex turn,运行环境位于 OpenAI 内网,能访问代码仓库和工程师使用的可观测性工具——指标、日志、traces、CPU profile 与内存快照。agent 以 service identity 运行,权限可按需收敛,OpenAI 也能识别哪些操作出自性能 agent;把工作搬上云端后,多起调查可以并行,不再依赖工程师的电脑开着。

等待环节由订阅接管:等 PR 评审的任务可订阅评审评论,工程师评审期间 agent 不必持续运行;匹配的评论到达后任务重新就绪,dispatch loop 再派 agent 处理反馈。部署之后由另一个 agent 接手同一任务,核对性能是否回到基线——完全恢复则标记解决;只有部分恢复,则解决原回归、为剩余变慢另开新任务,后者可能有不同原因;毫无改善则记录经过、送回调查环节。

perf-forensics:把性能团队的排查经验写成共享技能

博客把这套系统归结为一条六步演进:完全人工(查指标与日志、对比 traces、调试在线机器、读代码,定位变慢往往需要对服务的深入了解,信号也容易漏掉)→ Codex 当搭档(工程师问「为什么变慢」,Codex 能搜大代码库、找到相关指标和 traces、跨服务追调用、做相应 profiling(性能剖析),但每一步仍需人来掌舵)→ 可复用技能 → 人当中转(告警响了,工程师把告警复制进 Codex、再把结论贴回 Slack)→ 调查自动化(迁到云端,告警自动开 Codex 会话并把发现发进 Slack 线程,但自动化到此为止,后续修复仍靠人)→ 工厂。

在「可复用技能」一步,OpenAI 把性能团队的调查流程沉淀成共享技能 perf-forensics(@OpenAIDevs 的第二条帖文同步说明了这一步)。它告诉 Codex 有哪些工具可用、何时使用、按什么步骤排查变慢:找出指标从何时开始变差、识别受影响的请求、检查部署或配置变更能否解释异常。ChatGPT 首 token 延迟回归这类反复出现的问题,促使团队此前积累了 30 多个性能工具(如 CPU 和内存分配 profiler);这份技能让 Codex 能调用性能工程师使用的这批工具。团队用基于历史回归的 evals(评测)反复测试打磨;对所聚焦的回归类型(如 ChatGPT 延迟和可用性下降),给 Codex 一条告警就能在一次运行后拿到诊断,无需逐步引导。

对抗性审查:另一个 Codex 会话专门推翻诊断

早期版本的 agent 有时停在第一个看似合理的解释上,其中一些诊断后来被证明是错的。为此 OpenAI 加了对抗性审查:另起一个 Codex 会话,专职尝试推翻已提出的诊断——复核假设、做反事实检验,例如「若变慢由某次 rollout(发布)引起,未接触该变更的相似请求是否依然健康」「可疑变更回滚后,受影响的指标是否恢复」。

博客举了一个被拦下的误诊:一次调查中,agent 把 ChatGPT 会话失败归因于图片下载错误并标记根因已找到;审查会话注意到,负责定位文件的内部服务当时已经恢复,而图片请求仍在失败——原诊断解释不了持续的失败,AI 审查者于是重开调查,并记录下尚待确认的部分。

准确率方面,OpenAI 称人工抽检 100 条根因建议,70% 被评为准确,30% 需要进一步完善或未完全确立因果。在 Regression Workflow 中,调查、挑战诊断、提出修复分属不同的 Codex turn,靠相互制衡提高准确率。修复环节被官方称为更难的部分:agent 提出的改动有时比必要的更复杂,或引入新问题;每份提议修复同样要过一道对抗性审查;加缓存这类可能提速却引入陈旧数据的架构取舍,仍交由熟悉该服务的工程师决断。

用历史事故回测 agent,再让 agent 每天巡检工厂自身

更新调查技能或升级模型,可能让 agent 擅长诊断某些案例、却在另一些案例上退步,因此 OpenAI 把过去的生产事故做成回测用例:每个用例从全新的 Codex 调查者开始,只给原始信号,并剔除可能泄露答案的细节;agent 可以在限额内查代码、查生产遥测,但不能读取以往调查的记忆、事故复盘或此前运行的结果,事后还会检查其 transcript(会话记录)是否泄题。评分分开进行:问题何时开始、影响多大、哪些请求受影响、如何用证据给候选原因排序并交代不确定性——时机答对也可能怪错部署,两者分开计分。

Agent 交给工程师的摘要另有一套评估:用存档任务快照回测,由单独的 grader(评分器)判断一位不熟悉系统的工程师能否看懂发生了什么、为何重要,关键图表是否保留、建议的下一步是否有证据支撑。

针对 agent 自身,OpenAI 每天运行一个专门的 agent 翻查近期运行的日志与消息,寻找工具失败和权限错误——坏的 profiler 或缺失的权限会让调查无法验证根因,而这类故障在最终报告里并不显眼。当同一个工具错误阻塞多起调查,agent 会创建任务来修它:根因清楚时由 agent 提修复,工程师评审后决定是否合并,合并后再用 evals 验证 agent 能通过此前卡住的步骤。博客还提到注意力分配的教训:第一版界面把发现堆给工程师,仍要人去判断哪些重要;现在工作流会把同一条回归在告警、监控和频道里的多个 incident(事件记录)关联起来,按团队关心的指标分组、按估计影响排序。

未定根因的 1,100 余起,与仍在工程师手里的评审关口

@OpenAIDevs 的收尾帖文给出了上述追踪数字。超过 1,700 起调查中确定根因的超过 600 起,其余 1,100 余起的结局——归为噪声、合并为重复事件还是仍在调查——帖文与博客均未逐项交代;加上官方抽检中 30% 的根因建议未获评为准确,这是公告目前留下的两处主要空白。

帖文下的早期回复褒贬兼有:用户 MattarARK 称「性能回归排查正是我会最先交给 agent 的乏味工作」;用户 sanchitmonga22 问「其余 1,100 起查出来是什么」;用户 20ltu 称「Codex 用在他们自己的产品上,方向是对的,但博客文章不是证明」;用户 Protonnd 回复「这很棒,但你们的 App 和网站并不快」。

博客同时列出了仍在推进的方向:不依赖告警的主动发现——对比不同版本的 CPU 与内存 profile、堆转储和请求 traces,让 agent 找出告警漏掉的小幅异常并开任务追因;把已知模式固化成更多定期运行的工作流,例如用 service rightsizing skill 检查 autoscaling(自动扩缩容)配置里多余的副本。这些均为官方计划口径,落地时间未定。OpenAI 在博客结尾写道:「下次你用 ChatGPT 时察觉变慢,很可能 Performance Factory 已经在查原因。今天,瓶颈可能是等工程师评审并合并修复。」团队称已在探索让 agent 自主完成这一步。

参考链接

  • How OpenAI's Performance Factory keeps ChatGPT fast — OpenAI 官方博客
  • @OpenAIDevs 帖文(Performance Factory 宣布,含视频)
  • @OpenAIDevs 帖文(perf-forensics 技能与调查迁往云端)
  • @OpenAIDevs 帖文(task service、dispatch loop 与订阅机制)
  • @OpenAIDevs 帖文(三个多月追踪数据与博客链接)
  • 用户 MattarARK:性能回归排查适合最先交给 agent
  • 用户 sanchitmonga22 追问其余 1,100 起调查结果
  • 用户 20ltu:博客文章不是证明
  • 用户 Protonnd:App 和网站并不快