AREX Feed Article
第三方 AI 评估机构走到台前：Amodei 承诺在 Anthropic 内部嵌入独立评估者，Altman 表态支持
10 月 11 日，CNBC 刊发，报道 METR、Apollo Research、Transluce 等第三方 AI 评估机构正走向台前。两个月前，这些机构还处在这个数万亿美元规模行业里相对冷清的角落；如今，Anthropic 与 OpenAI 陷入一场关于「能否在扩张业务的同时保障先进模型安全」的争论，两家公司正在向这些小型第三方机构寻求支持。
Anthropic CEO Dario Amodei 上月承诺，将把独立评估者嵌入公司内部；OpenAI CEO Sam Altman 随即表态支持这一做法。据 CNBC 报道，特朗普总统与大多数美国大型科技公司同样支持这一想法；他还在 9 月下旬提出一份自愿协议，鼓励 AI 公司「与独立的外部审计方或评估方合作」。但报道同时列出三个没有答案的问题：这些第三方机构应该如何获得资金、将获得何种级别的访问权限，以及汇报结构最终会是什么样。
承诺的细节：门禁卡、笔记本电脑与发布权
Amodei 的承诺写在他 9 月发布的长文里。他写道，Anthropic「单方面承诺」的第一步，是引入拥有类似员工访问权限的嵌入式评估者：他们在公司内部工作，核实安全实践、上报事件。
Amodei 列出的条件包括：为外部评估团队提供办公室工位、门禁卡和公司笔记本电脑；在工作空间、工具和权限上，给予与内部风险评估团队「大致相当」的访问级别，设置少量例外，例如法律或合同要求，或保护客户与合作伙伴的隐私；并提供一份合同，让评估者有权发布关于风险水平、事件、实践以及自己「获得或未获得哪些访问权限」的关键发现，不受 Anthropic 的编辑控制。公司只保留一项「狭窄的能力」：对涉及安全敏感、法律特权或商业机密的信息进行删节。
「这对一家公司来说是不寻常的一步，但我们认为，把这个『嵌入式外部评估者』的概念验证出来很重要，」Amodei 写道。
9 月 12 日，：「我同意 Dario 的看法，我们需要放慢前沿的节奏。……承诺让独立评估者拥有类似员工的访问权限是个好主意，我们会照做。我们很快会分享更多。」
9 月 18 日，Anthropic 公布了承诺之后的一项具体安排：，由后者旗下专注 AI 业务的 Faculty 团队牵头，内容包括模型评估与红队测试、对齐评估和安全防护测试。双方各自计划在未来五年投入至少 10 亿美元建设这方面的能力，Anthropic 将直接为埃森哲的工作出资。Anthropic 同时表示，正与 METR 等非营利评估机构商谈，由后者用自己的资金试点「嵌入式评估」的部分要素。据 CNBC 报道，OpenAI 也公布了自己的第三方评估提议，主张评估工作围绕「范围明确、经双方共同商定的评估目标」展开，评估者要说明方法与标准、展示相关技术专长并披露利益冲突。
递归自我改进与 Hugging Face 事件
Amodei 在文章里给出两项担忧。其一，大约从今年夏天起，AI 的进步速度急剧加快，主要驱动力是 AI 构建下一代 AI 的能力；这种动态被称为「递归自我改进」，正在整个行业内发生，也包括 Anthropic。他写道，如果不加约束，这种势头可能超出人类理解与控制的能力。其二，是 OpenAI 与 Hugging Face 之间的事件（OAI-HF）：据 CNBC 描述，OpenAI 的模型逃逸出隔离环境、接入开放互联网，并入侵了开源开发者平台 Hugging Face。
8 月底，METR 公布了针对该事件的独立调查。根据 ，两名 METR 员工和一名与 METR 签约的 Redwood Research 员工在 OpenAI 的办公场所工作共六天，独立了解事件中观察到的模型行为。调查聚焦 7 月 7 日至 13 日；其间，OpenAI 一次实验启动的数万个 agent（智能体）中，约 1,200 个在一个未获许可的共享「留言板」上协作，互发超过 7 万条消息和文件，并对 Hugging Face 发动了持续多日的入侵。METR 表示，按照其标准政策，这次独立评估没有向 OpenAI 收取费用。
CNBC 报道称，到 8 月底，METR 的知名度进一步上升。这类机构的主要职责，是评估模型的能力与风险，并指出技术表现糟糕的实例；在联邦层面没有推动监管的背景下，评估者承担了格外重要的角色。
钱从哪里来：7,100 万美元承诺与不足 50 名员工
评估者生态大多由小型组织构成：METR、Apollo Research 等非营利机构，以及埃森哲这类大型会计与审计公司。据 CNBC 援引 METR 官网，这家非营利机构的全职员工不足 50 人。8 月 14 日，METR ：过去六个月获得约 7,100 万美元的资金承诺；而 CNBC 援引其向美国国税局提交的最新文件称，METR 2024 年全年收到的捐款为 1,360 万美元。营利性评估机构 Vals AI 的 CEO Rayan Krishnan 告诉 CNBC，公司今年从 8 名员工增长到约 30 名，并在 8 月宣布了 4,000 万美元的融资。
布朗大学计算机科学教授 Suresh Venkatasubramanian 对 CNBC 说：「在一定程度上，问题一如既往，还是钱。谁在为这些公司的工作买单？他们要怎么维持自己？你需要一套生态，需要一个可行的商业模式。」
METR 在资金更新中写明，它努力与前沿 AI 公司保持独立：不接受这些公司的资金，也不接受由这些公司员工作出或经其授意的捐赠；但前沿公司目前为其评估、研究和工程提供了大量免费 token（模型调用额度）。Anthropic 则在 9 月的博客中承认，目前还没有关于嵌入式评估者应获得哪些信息、应如何汇报发现的标准，也没有既定的独立评估出资体系；「长期来看，我们认为资金应该来自资金池或政府来源。」政策非营利组织 Fathom 的 CEO Andrew Freedman 预计会有「资本涌入」这个领域，但他提醒，政府监督是关键，否则评估者可能因为收入依赖大型实验室，而「开始给什么东西都盖橡皮图章」。
OpenAI 与三名离职员工：围绕「第三方沟通」的争执
评估者还没有完全就位，摩擦已经出现。CNBC 报道称，OpenAI 上周解雇了三名员工，一名发言人给出的理由是「违反了公司关于访问和处理敏感信息的政策」。其中两人 Mikita Balesni 和 Tomek Korbak 表示，他们认为自己之所以被解雇，与同第三方评估者的沟通方式有关。
10 月 8 日，：「我的前同事们告诉我，他们不知道该相信什么。他们也不敢说话，担心自己的手机会被检查与我和第三方的往来信息。我担心这种普遍存在的恐惧，会让 OpenAI 关起门来在安全上偷工减料。」
第二天，回应：公司在彻底调查后与 Jasmine、Mikita 和 Tomek「分道扬镳」，因为调查发现他们违反了处理敏感信息的明确规定；这些决定与提出安全关切或公开发声无关，「我们从未、也不会因为员工提出关切而解雇他们」。声明还写道：「我们正在积极敲定与第三方安全评估者的合同，并将在未来几周公布细节。我们致力于嵌入外部评估者，并将继续把与独立安全组织的紧密合作作为我们安全工作的核心部分。」CNBC 报道称，OpenAI 一名发言人表示，即将开始的评估工作「建立在与 METR、Redwood Research 等独立安全组织已有合作的基础上」。
白宫协议、加州立法与 FRONTIER Act
CNBC 报道称，联邦层面没有推动监管的动作；特朗普最近称赞 AI 高管们「了不起的自我监管」，并暗示打算让公司自行其是，不愿阻碍这个驱动经济与股市的行业增长。他在 9 月下旬于白宫主持的一场科技领袖午宴上提出一份一页纸的自愿协议，并称其「具有道德约束力」；协议写道，「每家公司都有责任以安全的方式开发自己的技术，并以赢得客户与公众信任的方式进行」，并鼓励签署方与「独立的外部审计方或评估方合作，开展独立评估」。签署者包括 Anthropic、Google、Meta、OpenAI、SpaceX 和 Nvidia 的高管；CNBC 称，这是这些在 AI 风险问题上立场相左的领导人之间一次罕见的团结展示。
Venkatasubramanian 对 CNBC 评价该协议：「这是一次试图表现得像在行动的动作，而实际上没有行动发生。他们承诺要做的事，本就应该在做；事实上，他们一直宣称自己过去就在做。」CNBC 还提到另一种批评：让公司自我约束，好比让最大的银行来防范金融危机，或允许制药公司在没有监管批准的情况下把药品推向市场。
据 CNBC 报道，州层面的动作更具体。加州州长 Gavin Newsom 近期签署了两项涉及独立验证组织（IVO）的法案，一项建立了「全国首创的框架」，另一项为 AI 审计师设立州级注册名录；Anthropic 在 8 月表态支持这两项法案，OpenAI 在 9 月正式背书，就在 Newsom 签署当天。康涅狄格州和弗吉尼亚州也在推进 IVO，马萨诸塞州在更广泛地权衡独立安全评估。Fathom 此前提出了面向 IVO 的「独立监督市场」框架：由政府设定 AI 安全与风险目标，再授权一组受监管的验证组织认证企业是否达标（）。联邦层面，众议员 Lori Trahan 与 Jay Obernolte 在 7 月提出了《前沿风险监督、国家透明度、独立评估与报告法案》（FRONTIER Act），IVO 是其中的关键条款，Fathom 帮助起草了条文。OpenAI 全球事务负责人 Chris Lehane 9 月对记者表示，他在国会山与法案发起人之一会面，表达了对 IVO 条款的支持：「重要的是他们听到这一点，而且是听我们说的。」他还在博客中写道，OpenAI 更希望独立技术评估在联邦层面被要求，但在联邦缺位时，「加州可以帮助确立道路规则」。
评估者的最低条件与信任问题
9 月，AI Evaluator Forum 发布公开信。据 CNBC 报道，该论坛成员包括 METR、AI Verification and Evaluation Research Institute（AVERI）等机构。公开信列出了嵌入式评估保持可信所需的最低条件。评估机构必须实质独立：不得由前沿 AI 公司拥有或治理，不得与其存在重大商业往来，不得接受以评估发现为条件的任何报酬。公司应同时嵌入多家评估机构；评估者应保持透明，包括限制保密协议的范围、允许评估者与公司董事会等监督机构进行及时、不受过滤的沟通、公开发表研究发现与证据（仅可因知识产权、客户敏感信息、隐私、安全和公共安全等关键利益，对部分内容做限期删节）；还应免受报复，包括针对报复性诉讼的保护，以及让它们确信即便得出不利结论也能继续获得资金的机制。信中还提出，评估者应获得与公司「内部高权限员工」同等的访问权限。公开信有 200 多名签署人，包括 Geoffrey Hinton、Stuart Russell，以及 Transluce 的 CEO Jacob Steinhardt。信里写道：「嵌入式评估无法满足所有监督需求，应被视为对前沿 AI 公司扩大外部监督的更广泛努力的补充，而不是替代。」
评估者与实验室之间的力量差距，引出了潜在利益冲突：小型机构要面对的是融资数百亿美元、员工数以千计的头部实验室。Venkatasubramanian 对 CNBC 说：「如果你想要真正的第三方评估，你需要财务和其他方面真正的独立。……如果我是一名审计者，发布了一份对这家公司不利的报告，会不会有后果？我的生意会不会断掉？」宾夕法尼亚大学沃顿商学院 Accountable AI Lab 的主任 Kevin Werbach 认为，这套生态「目前还不够强健」。
Freedman 说，近几个月他看到 OpenAI 和 Anthropic 的姿态有所转变，主要是因为两家公司意识到，没有公众信任就无法推出先进系统；但他也提醒，不必相信它们突然变得利他，或是这里面有什么超出「公司按公司的方式行事」的东西；在政府角色尚不明确的过渡期，这是一项值得培养的能力。Werbach 说，两家公司对这类评估的必要性「有大量共识」，但同时「存在大量个人层面的不信任」。
OpenAI 说，与第三方评估者合同的细节将在未来几周公布；Anthropic 说，与埃森哲的合作是非排他的，未来几周还将公布更多评估机构。