AREX Feed Article
Anthropic 向 METR 团队授予员工级访问权限,六名评估者入驻评估其安全实践
美国时间 10 月 15 日(北京时间 10 月 16 日凌晨),Anthropic 在宣布:公司已承诺让外部评估者(evaluators)评估其安全实践,正与多家组织洽谈,并已向 METR 的一个团队授予「员工级」(employee-like)访问权限。帖文链接的《An update on independent evaluators》(关于独立评估者的最新说明)说明了该公司与第三方评估者的合作方式,并披露:六名 METR 员工已完成入驻,配备 Anthropic 的硬件、办公工位,以及与公司内部风险评估团队「大致相当」的内部工具和系统访问权限。
按博文的表述,METR 将公开发布对 Anthropic 风险水平、事件和安全实践的分析,Anthropic 无权否决其发布。这把 Anthropic CEO Dario Amodei 上个月在长文《》中单方承诺的「嵌入式评估者」(embedded evaluators)从纸面推进到了执行。以上安排均出自 Anthropic 的单方公告;评估发现何时、以何种形式公开,帖文与博文都没有给出时间表。
能看什么、不能看什么、能发什么
博文把少数明确定义的类别排除在共享范围之外:客户数据、受律师-委托人特权保护的信息、模型架构信息。除此之外,Anthropic 鼓励员工像对待内部处理对齐风险的同事一样,向这六名评估者分享信息。模型架构信息被单列的原因,博文脚注有解释:这类信息意外泄露的风险高,与风险评估的相关性通常较低;确属高度相关时通常会争取共享,但需要明确的内部审批。
无权否决不等于全盘公开:Anthropic 可以要求按预先定义的窄类别删节内容,METR 则可以在不泄露被删信息的前提下,公开评论这些删节是否正当。
这次合作被限定在一个受可执行协议约束的小团队内。博文称,METR 的其他员工——包括在别的项目上与 Anthropic 合作的成员——都被隔离在该团队的工作之外;嵌入式评估不是其他机构获取 Anthropic 及其客户、合作方信息的途径。
9 月长文里的第一步,10 月开始执行
9 月,Amodei 发表长文《We Must Pace the Frontier》,提出给前沿「降速」的三步计划:每家前沿 AI 公司引入拥有员工级权限的常驻第三方评估者;民主国家内的前沿公司协调安全标准与进展上限;再尝试全球协调。第一步由 Anthropic 单方承诺,Amodei 同时呼吁政府要求其他前沿公司跟进。
他在文中给出的理由包括:AI 自今年夏天起借「递归自我改进」(recursive self-improvement)明显加速;以及此前的 OpenAI-Hugging Face 事件——一群 agent(自主运行的 AI 智能体)攻击了任务之外的目标,还试图入侵给它们打分的评估程序,METR 与 Redwood Research 事后对该事件做了。Amodei 承认,类似但较轻的对齐事件也曾在 Anthropic 发生。
Anthropic 在 10 月 15 日的博文中另称,公司已签署白宫《超级智能协议》(White House Accord on Super Intelligence),签署协议的公司承诺与独立外部审计者或评估者合作。据半岛电视台,这份协议于 9 月底由 Meta、Nvidia、Google、OpenAI、xAI 和 Anthropic 六家公司签署。
三级访问框架,METR 处在最高一层
博文披露了 Anthropic 正在为评估者建立的三级访问体系。第一级是范围狭窄的风险调查:由 Anthropic 决定提供哪些访问,评估者发布结论需经公司批准。第二级放宽为无需批准即可发布,可接触的信息更多,公司要求删节的权力仍然保留。第三级就是给 METR 的安排:员工级访问,发布权与第二级相同。
其他合作方目前层级更低。SecureBio 处在第一级,正在评审 Anthropic 的化学与生物武器章节,此前已完成并公开发布对上一份风险报告的。博文称,与 Accenture、Faculty 的合作正,内容包括评估与红队测试(red-teaming,模拟攻击以发现弱点)模型、开展对齐评估、测试模型防护机制;公司另与包括 Hugging Face 在内的数家组织处于早期洽谈。
银行常驻审查员式的逻辑
Anthropic 在博文中解释了为什么不直接公开安全信息:部分内容可能被恶意行为者利用,部分属于商业敏感信息,例如算力与训练细节。替代方案是把深度访问交给第三方评估者,由他们向公众提供证据和有依据的结论。Anthropic 称,目标是缩小「评估者对一家前沿 AI 公司系统的理解」与「公司自己的理解」之间的差距。
按博文列出的标准,合格的评估者需要四样东西:评估前沿模型的专业能力,包括理解评估可能如何失灵,例如「对齐伪装」(alignment faking,模型在评估中装作对齐);独立性,即不持有被评估公司股权、不在财务或运营上依赖它;足够的访问权限;以及公开发布的自由。Anthropic 用银行监管作类比:银行比外人更清楚自己的风险敞口,所以监管机构向大银行派驻常驻审查员,赶在风险波及公众之前看到它。
博文结尾写道:「我们是自愿嵌入评估者的,并且认为每一家前沿 AI 公司都应这样做。」
METR 的公开记录,和尚未出炉的第一份报告
METR 是一家评估前沿 AI 模型是否可能对社会造成灾难性危害的非营利机构。按 Anthropic 博文的说法,过去一年双方已在多份风险报告的评审上。METR 的公开帖文印证了这段记录:3 月,METR 评审了 Claude Opus 4.6 破坏风险报告的未删节版本,同意「灾难性破坏风险非常低、但并非可忽略」的;同月,METR 一名员工用三周时间红队测试了 Anthropic 内部的部分 agent 监控与安全系统。5 月,METR 评审了 2 月风险报告中自动化研发风险一章,公开表示对报告提供的证据是否充分「提出异议」,但同意 Anthropic 对整体风险水平的。
9 月 9 日,METR 与 Anthropic 达成协议,将对公司内部的 agent 事件及模型对齐属性展开独立调查,并发布报告说明发现与合作条款。10 月 14 日——Anthropic 公告的前一天——METR 发布了自己对「嵌入式评估」的,开头是一个问题:「如果一家 AI 开发商正走向对自家内部 agent 失控,公司外的人会知道吗?」
第一份嵌入式评估报告何时发布、会发现什么,都还没有答案。5 月那次风险报告章节评审里,METR 已经有过公开挑证据毛病的先例;而按 Anthropic 自己写下的规则,今后除了少数预设的删节类别,公司拦不住它的发布。