Claude 官方开发者账号:能验证自己工作时写出的代码更好,昂贵检查如今变得廉价
Claude 官方开发者账号 @ClaudeDevs 在 UTC 时间 11 月 16 日 22 时 31 分(北京时间 11 月 17 日清晨)发布帖文:当 Claude 能够验证自己的工作时,它写出的代码更好;以往昂贵的检查手段,如测试(tests)、基准(benchmarks)与端到端运行(end-to-end runs),如今已变得廉价。帖文所附短链解析指向 Claude Code 团队同日刊出的文章《How the Claude Code team thinks about verification》。
这篇文章的副题概括了主题:端到端、property 与 differential 测试如何让编码代理以证据验证自己的工作,以及该团队为保持验证器诚实而采取的做法。帖文与博文均为当事方的单方表述。
一条清晨帖文与一篇同日长文
@ClaudeDevs 的帖文原文写道:「当 Claude 能够验证自己的工作时,它写出的代码更好。以往昂贵的检查手段,如测试、基准与端到端运行,如今已变得廉价。以下是 Claude Code 团队如何看待 verification:」该账号简介自述为「为使用 @ClaudeAI 进行开发的开发者提供官方更新」,带蓝标认证,创建于今年 2 月,截至核验约有 82.7 万粉丝。帖文正文只有一段话和一条短链,链接目标页面标注的发布日期为 11 月 16 日。
截至北京时间 11 月 17 日上午,这条帖文获得约 16.1 万次浏览、3,709 次点赞、3,954 次收藏与 210 次转发。
验证循环决定并行规模:从一两个 Claude 到几十上百个
据博文自述,Claude Code 团队约 90% 的代码由 Claude 写成、再由 Claude 复审,团队此前曾单独撰文介绍这套代码评审机制。文章称,验证循环(verification loops)是把更多工作委托给 Claude 的基础构件:没有它,一切产出都要自己核对,一次只能跑一两个 Claude;有了它,就能并行运行几十上百个。
「检查变廉价」的机制,文章写得直白:过去昂贵的验证对象,包括测试、基准、规格说明(specs)与真实的端到端运行,如今都可以直接要求代理完成;代理能很快生成测试、基准与规格,而这些检查一旦生成就以软件形态存在,可以频繁运行,无需消耗大量额外 token。
文章还引用了一组内部测试数字:在结构化文件生成任务中,让一个独立的评分器(grader)按评分标准(rubric)核对 Claude 的产出,任务成功率最多比标准提示循环提高 10 分,最难的问题上提升最大。这组数字出自团队此前发布的另一篇文章,博文以链接方式援引。
闭环的最后一环是用结果改进代理本身。文中举例:如果代理反复栽在同一项检查上,比如专门检查日志是否泄漏用户数据的测试,就可以写一个 hook,或在项目的 CLAUDE.md 文件里加一条更明确的规则;文章称这能阻止大部分同类问题再次发生。
三类值得投入的测试:E2E、property 与 differential
文章先提醒两种要避开的失败模式:不稳定的测试(flaky tests)会训练代理学会重跑测试而非修复代码;过慢的测试会让代理在批量任务中减少测试次数,问题定位也随之变难。更重的测试最好放在提交改动之前执行。
若只能聚焦一种测试,文章的选择是端到端(E2E):它描述真实用户路径,比如把商品加入购物车、结账、跳转到确认页。理由是这类测试难以糊弄,功能要么整体可用,要么整体不可用,而且有明确的完成判据,能具体指出坏在哪一步。博文配图对比了两种失败输出:单元测试只留下「Error: Timeout after 30s」一行字,配注是「盲射,无步骤、无轨迹」;端到端测试则给出步骤轨迹(注册、加购、结账、确认页各占一步)、结账页截图,以及一句「哪一步失败:『Place order』按钮始终禁用,因为支付表单从未加载」。
要让代理有「手和眼」,文章建议用技能(skill)启动、驱动并检查真实运行的应用,工具可以是 CDP(Chrome DevTools Protocol)、模拟器或 API harness;仓库中的功能清单通常从用户视角列出路径、快捷键、选择器与预期结果,正好充当代理的评分标准。
property 测试(property tests)瞄准的是人们容易漏掉的边界情况,而这正是代理常出错的地方。做法是先写下一条你认为不可能失败的陈述,再用测试库生成成千上万个输入去推翻它:JS/TS 有 fast-check,Python 有 Hypothesis,Rust 有 proptest。文中列举了四类常见性质:编码后再解码应还原原文的往返性质(round-trip)、「账户余额不能为负」一类的不变量(invariants)、迁移或重试做两次与做一次效果相同的幂等性(idempotency),以及优化版代码与朴素正确版结果一致的等价性(equivalence)。这类测试的输入不由写出原代码的代理以同样偏差生成,因此能约束代理;在规格说明已与线上真实行为漂移、不再可信的重写场景里,它们尤其有用。
differential 测试(differential tests)则把旧系统当作参照标准(oracle):用相同输入分别运行新旧两套系统,结果一旦不同,就意味着存在 bug 或破坏性变更。文章称它特别适合功能预期不变的大规模迁移,要点是用随机生成的输入或生产流量采样,把空格等无关差异归一化,并维护一份「新环境理应不同」的许可变更清单。
团队自己的流水线:verify 技能、3 轮失败上限与 39 项可靠性清单
文章下半部分交代了 Claude Code 团队如何落实这些原则。首先是「验证意味着真跑改动」:正如没人会不进模拟器就发布 iOS 改动,Claude 也一样。网页改动用 Claude Chrome 扩展,移动端用 iOS 或 Android 的 MCP,桌面用 computer use,后端就在本地跑服务。文章建议把这些启动方式写进名为 verify 的技能,放进仓库的 .claude/skills/ 目录,位置尽量贴近相关代码;它是冒烟测试工具链,值得打磨到又快又稳,Claude 会在提交改动前主动调用它。文中称,这就是他们在 Anthropic 测试几乎所有改动的方式。
失败处理有明确上限:Claude 负责运行检查并修复失败项,同一检查失败 3 轮后,它停下并把问题交给人。检查由代码 owner 自己编写,并打磨到能标记出 owner 本人会标记的问题;检查把评审人拉进来时应当说明原因,免得对方自己从 diff 里猜。
团队维护一份 39 项的可靠性清单,每项都带一个能从 diff 读出的触发条件。文中以「--resume 要能加载旧会话记录」为例:当会话存储或消息类型变动时,就要追问新字段能否安全加载,因为旧记录里没有它。Claude 读取 diff 后只核对触发条件命中的条目,通常在 3~10 项之间,没人需要背下历次事故。
评审侧的取舍同样写在文中:与其叠加评审者,不如调好主评审,在主评审之上再加一个更贵的评审者,往往比调优前者效果更差。团队用 REVIEW.md 文件写明这段代码需要格外注意什么,每一轮评审都引用此前轮次与历史失败的上下文,而不是从零重查,这样更便宜,也能发现更多问题。
底线是改动不能修改评判自己的检查:Code Review 从基线或默认分支读取 REVIEW.md,绝不读取拉取请求(pull request)改动里的版本,把关规则放在改动碰不到的分支上。评审只针对确定的提交进行,一边评审一边继续推送代码,结果就不再有意义。此外便宜检查先行:代理若没在本地跑完测试、构建和 linter 就开 PR,等于白白消耗共享的评审与 CI 资源;这可以用 hook 强制,也可以给代理下达「测试套件通过」的 /goal 指令。
给验证器立规矩:提交门禁、observe 模式与「审阅审阅者」
团队在自己的仓库里给每个提交打上验证方式标记,标记中甚至包含「none」这一取值,方便查出未经任何验证的提交。他们还建了一个提交门禁(commit gate),当会话中没有 /code-review 或 /verify 记录时即可阻止提交。门禁设 off、observe、enforce 三档:observe 档只记录「本应拦截什么」,用于排查误伤;enforce 档真正拦截,提交信息里可以写明为何未经验证;同一会话被拦两次后,下一个提交将放行,免得 Claude 卡住。原文的注解是「Claude Code 并不完美」。
验证层自己也要被审。团队跟踪三项指标:合并后被回退的改动数、维护者在合并前打回的次数,以及一组按规模配对、保持干净的改动作对照。他们的 Code Review 团队还基于历史事故与回退建了一套正式评估:每个样例把仓库重建到当时评审时刻的状态,附一句「这个 bug 是什么」的答案,只有准确描述该 bug 的发现才得分;已合并且保持稳定的改动充当对照组,防止系统过度标记。召回率按原始发现、复核后与终审三个阶段分开统计,以便看出系统是否在后续环节丢掉已经找到的 bug。发现按重要程度标记为 Important、Nit 或 Pre-existing,最后一类指本就存在的旧问题,不应算到提交者头上。团队把召回率调到这样一个点为止:再往上改进,就是在向评估集过拟合,而不是真的多抓 bug。
漏检变成规则,工作重心转向定义「完成」
漏掉的案例会被转成规则。文章写了两种办法:一是从人工评审意见和 PR 回退中提炼模式,候选规则必须在至少 2 个 PR 中出现过、且能从 diff 识别,随后由 3 个代理尝试证伪,最后由人在 PR 中审定;二是重放,针对与已知事故关联的 PR 放入 3 个 bug 探测器,至少 2 个找到同一 bug 才判定可检出,如果 bug 藏在小 diff 里却被漏掉,就值得写成 REVIEW.md 中的新规则。不稳定的测试执行同样的规矩:Claude 不许跳过它们,不许加 sleep,也不许重试到通过为止;找不到根因,就删掉测试并写明原因。规则本身也要定期清理,测试套件、验证步骤和 .md 文件放任不管只会越积越多。
按文章的说法,这一切把使用者的工作从逐条阅读 diff,转向定义什么算「完成」并审阅证据,而这正是能同时运行许多 Claude 的前提。
截至发稿,支撑上述结论与数字的都是团队自己的文章,两份材料未附任何独立评估;文中约 90% 的代码占比、最多 10 分的成功率提升、39 项清单等数字,均属团队自查自报。