AREX Feed Article
Hugging Face 联合创始人 Thomas Wolf 批评 METR 的 Anthropic 报告「非常内向」,称大量「AI 加速 AI 研发」发生在实验室之外
11 月 5 日,非营利 AI 评估机构 METR :自 2025 年 10 月以来,Anthropic 模型在基准上的能力得分以约 1.9 倍于此前趋势的速度增长,报告猜测这轮加速的多数——约 80%——来自 AI 本身。当日 23:05(UTC,北京时间 6 日清晨),Hugging Face 联合创始人 Thomas Wolf(@Thom_Wolf)这份报告「非常内向(inward looking)」:它统计的是实验室自己的算力、招聘和内部数据;按他的外部观察,很多「AI 加速 AI 研发」实际发生在实验室之外。
METR 做这项评估的背景是:AI 研发加速是 Anthropic Responsible Scaling Policy(负责任扩展政策)里列明的关键风险指标,该机构认为,若 AI 显著加速 AI 研发,极端且有风险的能力可能突然出现。
Wolf 帖文的三层批评与一条结论
Wolf 的 自述其为 Hugging Face 联合创始人,账号经平台认证,粉丝约 13.7 万。
方法论层面,他写道:「在我看来,这份 METR 关于 Anthropic AI 研发加速的报告非常内向。它统计这家实验室的算力、招聘和内部数据,然后把约 80% 的提速归因于 AI。」
资金层面:「我从外部看到的是:实验室正在成为资金的 schelling point(谢林点,指博弈各方无需沟通便会默认汇聚的协调点),把资金重新分配给一个它们为加速自身发展而建立的生态系统。」
机制层面:「这是一种共生。最好的数据和 RL(强化学习)环境公司现在比实验室更早知道模型会在哪里失败,而实验室会直接买下它们提出的方案。这会同时反馈到每一家实验室。」
结论是帖文最后一句:「很多『AI 加速 AI 研发』发生在实验室之外。」
帖文没有附报告链接或数据,以上全部是 Wolf 的单方观察;他所说的报告,与 METR 当天发布的 "Independent Assessment of AI R&D Acceleration at Anthropic in October 2026" 各项特征吻合。
报告原文:归因被标注为「猜测」
METR 自述致力于科学测量 AI 系统是否以及何时可能对社会造成灾难性危害。11 月 5 日,它,报告全文发布于官网。报告写明:由 2.5 名全职等效人员组成的团队从 8 月 12 日到 10 月 29 日在 Anthropic 内部完成了一次试点性质的高权限评估,历时约十一周,重点回答三个问题——能力增长是否加速、多大比例可归因于 AI、近期是否存在拖慢加速的瓶颈。
核心测量基于 AECI(Anthropic 版的 Epoch Capabilities Index,一个聚合内外部基准得分的能力指数):2025 年 10 月前的趋势约为每年 +15 分,之后约为每年 +29 分,对应 1.9 倍加速(95% 置信区间 1.5~2.8 倍),大约相当于过去一年走完了此前两年的进度。报告给出几个配套判断:团队「有信心地」确定加速并非来自训练算力规模增长的提速;对研究者的访谈估计范围很宽,但集中在 2 倍上下;员工在 Slack 投票中自报的 AI 提速从 Claude 3.7 Sonnet 时期的约 1.2 倍升至 2026 年 10 月内部 Model 4 的约 12 倍,METR 自己把这类自报数据称为「非常宽松的证据」。
归因部分正是 Wolf 引用的对象。报告原文是:「我们猜测,当前(2026 年 10 月)加速中的多数(或许约 80%)来自 AI」,紧随其后的是限定语:这一判断「存在很大不确定性」,2025 年底的加速「很可能受到非 AI 因素影响」。报告还表示,未发现会在未来 12 个月内生效的明显瓶颈,因此存在进度进一步加速的重大风险。
Wolf 和 METR 对这个数字的定性不同:METR 把 80% 写成标注了大幅不确定性的主观猜测,Wolf 把它当作报告向内统计的例证。
报告披露的数据清单:从算力指标到员工访谈
Wolf 点名的三类信息都在报告披露的开放清单里。Anthropic 向 METR 开放的资料包括:内部模型基准分与 AECI、预训练与 RL 的算法效率及模型强度历史数据、算力利用率/推理效率/数据效率的改进记录、员工人数及进度到具体员工的归因、多个领域的训练算力指标、按团队统计的自报 AI 提速调查、全公司与部分研究团队的代码行数和 pull request(代码合并请求)、AI 代理推理支出随时间的变化,以及约 15 次关键员工访谈。METR 写道,实际拿到的信息「超出了我们的预期」。
评估过程本身还有几个细节:出于安全考虑,METR 期间使用 Anthropic 提供的设备工作;Anthropic 为评估提供免费 token(模型调用用量单位),但 METR 未收取 Anthropic 费用;约 100 页的完整报告于 10 月 22 日交付给 Anthropic,最终公开版 11 月 3 日提交;原定合同中「核验算力在能力与安全之间的分配」一项被 Anthropic 中途取消,该机构称是想让这次合作暂时聚焦风险评估。在 METR 的分析框架里,这些输入被组织成一条管线:算法、数据质量与算力汇入预训练与 RL 两个环节,再决定最终能力——统计对象始终是实验室墙内的投入。
Anthropic 的回应:认可多数结论、捍卫删节、预告自家分析
在 Wolf 发帖前约四小时,Anthropic 联合创始人 Sam McCandlish 已,帖文自述「我是 Sam,Anthropic 联合创始人之一,负责我们大部分安全工作」。他说,这项合作由 Anthropic 在今年早些时候启动,向 METR 开放了未发布模型的基准分、进度估计和研究者访谈等敏感内部数据,METR「在形成自己的结论上拥有完全的独立性」;「他们的许多结论与我的判断一致。AI 正在加速我们的研究,但很难说清究竟加速了多少。」
对报告中的大量删节,McCandlish 给出了 Anthropic 的理由:「我们删掉了很多内容,我承认这让其他人更难核查 METR 的工作。但我们认定,公开究竟是什么在驱动提速并非正确的做法——这既涉及商业敏感信息,也可能把一张『如何更快』的路线图递到别人手里,那会让 METR 担心的风险变得更糟。」METR 在报告开头的说法与之对应:Anthropic 行使了单方面删节权,把「对我们结论最有信息量的多数证据」删去,理由被 Anthropic 描述为「移除可能加速其他 AI 开发者的机密信息」;其结果是「公众在远超理想的程度上只能依赖 METR 的判断」。McCandlish 同时预告,Anthropic 计划在未来几周发布自己对内部 AI 进度速度的分析,包括对照其 Responsible Scaling Policy 的位置,以及配套的安全措施。
第一批回音,与一个尚未被检验的论点
Wolf 的帖文发出约一小时后,Encode AI 首席战略官 Nathan Calvin 说:「有点意思。如果那是主要现象,我会非常惊讶,但我不确定,很希望 METR 或 Anthropic 的人来回应。」AI 投资人 Jianing Xiong 则顺着他的方向:许多行业仍未充分数字化,实验室只能看到部分图景,而「变得更聪明,不等于接入现实世界正在发生的事」。截至核查时——Wolf 发帖约一小时后——他的帖文浏览量约 3,700 次;METR 的发布帖在发出约六小时后浏览量约 44 万。
报告自己的局限性清单与 Wolf 的质疑方向部分重合:无 AI 的反事实增长率「只能靠猜」;非 AI 因素有可能解释全部或大部分加速;AECI 集中在容易自动判分的「干净」任务上,可能高估现实影响;如果把 OpenAI、Google、xAI 的公开模型一并计入,同一指数测得的加速只有 1.4 倍。但无论取哪个数字,METR 的归因框架统计的都是实验室墙内的投入;就公开部分而言,报告没有对 Wolf 所说的外部生态贡献给出度量。至于加速究竟有多少发生在墙外,至少在本次报道能核查的公开材料里,还没有能回答它的数据。目前可核验的下一个节点,是 McCandlish 承诺「未来几周」内发布的 Anthropic 自家分析。
参考链接
- Thomas Wolf 的 X 帖文:
- METR 报告《Independent Assessment of AI R&D Acceleration at Anthropic in October 2026》:
- METR 的报告发布帖:
- Sam McCandlish 的 X 帖文:
- Nathan Calvin 的回复:
- Jianing Xiong 的回复:
- Thomas Wolf 的 X 主页:_