AREX Feed Article
Scale AI CEO 确认：Claude Fable 5.2 在 Remote Labor Index 得分超 40%，接近 Opus 5.5 的两倍
11 月 10 日 15:50（UTC），Scale AI CEO Francis deSouza 在 X 发帖证实，Scale AI 已在 Anthropic 发布 Claude Fable 5.2 之前，用自家与人工智能安全中心（Center for AI Safety，CAIS）联合运营的 Remote Labor Index（RLI，直译「远程劳动指数」）基准评测了这款模型：「就在几个月前，还没有模型在 RLI 上跨过 10%。今天，Fable 5.2 得分超过 40%，几乎是 Opus 5.5 的两倍。」
这个分数在 11 月 9 日的发布日已经公开，但当时只能标注为厂商自报口径。Anthropic 发布 Fable 5.2 与 Claude Mythos 5.2（定价每百万输入 token 8 美元、输出 40 美元）时，发布材料成绩表中的 RLI 一栏为：Fable 5.2 41.3%（High effort 推理档）、Fable 5.1 17.9%、Opus 5.5 21.3%、GPT-6 Astra 20.8%，Gemini 4 Carbon 未报告成绩。发布当天晚些时候，Scale 旗下研究账号 Scale Labs 于 22:07（UTC）以基准方身份贴出同一数字，称 Fable 5.2「成功自动化 41.3% 的项目」、位居该榜第一，领先第二名 Opus 5.5。deSouza 次日的帖子把确认链推到基准运营方负责人一级；在此之前的 11 月 10 日 01:12（UTC），SemiAnalysis 也已宣布 Fable 5.2 以 16.4% 首次上榜即登顶其 GDPx 排行榜。
deSouza 的帖子改变了什么：从厂商自报到运营方一手确认
原帖另有两处关键陈述：一是评测主体与时点——「我们有机会在发布前为我们的 Remote Labor Index 基准评测这款模型，结果相当可观」；二是一句判断——「AI 处理真实工作能力的一次重大跃进」。deSouza 的 X 账号简介写明他是 Scale AI 的 CEO，帖子开头向 Dario Amodei 与 Anthropic 团队道贺。
需要界定这次确认的性质：RLI 由 Scale AI 与 CAIS 运营（见 ），而 Scale AI 同时是一家向 AI 公司提供数据与评测服务的商业公司——deSouza 的帖子是运营方对其自有基准结果的一手陈述，与 Anthropic 的发布口径同源，本身不构成另一家机构的复现。但它改变了信息的层级：此前外界引用 41.3% 时只能注明出自 Anthropic 的发布材料；据 对系统卡与发布材料的整理，RLI 恰是这份成绩表中少数由外部基准所有方实际执行的评测项之一，执行方名单里包括 Scale AI，另有 Cognition、Zapier、Cursor、ARC Prize Foundation 等。如今执行方的 CEO 已把「发布前评测、得分超过 40%」写进公开记录。
RLI 的评分机制：240 个真实付费项目，由人类评审裁定
RLI 由 Scale 与 CAIS 于 2025 年 10 月底推出，两家机构在 中称其为第一个测试 AI 代理完成真实付费自由职业项目的公开基准与排行榜，覆盖软件开发、设计、建筑、数据分析等领域。数据集从 358 名经 Upwork 验证的自由职业者处征集，550 个初始项目筛选后留下 240 个、横跨 23 个领域；每个项目附带需求文档、输入文件、人类专业人员的交付物（作为金标准）和经济数据。这批项目对应的人类报酬合计 143,991 美元，人类完成时间中位数 11.5 小时、平均 28.9 小时。
评分不靠自动判分。核心指标「自动化率」（automation rate）由受训评审员人工裁定——AI 的交付物是否「至少与人类标准一样好，能被一个合理的客户接受」，按 1～3 分评定，取三名独立评审的多数意见，标注一致性为 94.4%。排行榜用 230 个私有项目计分，另公开 10 个项目与开源评审平台供定性分析。基准上线时，表现最好的 AI 代理 Manus 只自动化了 2.5% 的项目，从 143,991 美元的总盘子里挣到 1,720 美元。
把这条基线与 deSouza 给出的坐标连起来：几个月前还没有模型跨过 10%，如今运营方确认的数字超过 40%——按上线时的 2.5% 计，最高分在约一年里变为原来的约 16 倍。
增益拆解：音频、建筑、3D 建模先行，工业设计与动画被点名难解
Scale Labs 在里给出领域拆解：「最大增益出现在音频与音乐、建筑与室内设计、3D 建模，但其他任务仍远未解决，例如工业产品设计与动画。」线程还称，模型在以往前沿模型表现挣扎的长周期、复杂项目上取得显著进展。
41.3% 对应的绝对数量是 99 个项目：据 llm-stats 对 Anthropic 方法论的整理，RLI 用默认配置（High effort、200k 上下文、每条回复 32k token）完成，240 个项目里 99 个交付物被判定不逊于人类专业人员的作品；其余 141 个、约 58.8% 没有过关。Scale 在基准上线时归纳过数百份失败提交的样式：45.6% 质量达不到客户会接受的专业标准，35.7% 交付不完整或文件缺失，17.6% 存在文件损坏等技术问题，14.8% 在多份文件之间前后不一致。那组数字来自 2.5% 时代的样本，不能直接套在 Fable 5.2 的失败项目上。
用户的反应分成两路。有人表示意外（）：「41% 比我对真实项目的预期要高，说实话。」保留意见同样具体：一位开发者（）写道「41.3% 的自动化率很大，但另外那 58% 才是我要研究的」；另一位用户（）说「41% 是很大的跳升，但下结论前我想先看到任务构成——如果大头是研究和行政类工作，就远没有标题显得那么可观」。
deSouza 发帖前半小时，@claudeai 晒出社区首批实验
11 月 10 日 15:20（UTC），也就是 deSouza 发帖前约 30 分钟，Anthropic 官方 Claude 账号 @claudeai ：@kevin_t_ngo 用纯代码逐个细胞器搭建的细胞 3D 模型，以及全部用代码绘制的埃及金字塔主题播客；原创折纸动物附可打印的折叠说明，由 Fable 5.2 用其自带的折叠模拟器测试；同一个提示词下由三个不同 Claude 模型分别绘制的人体运动；@TylerNishida 的两个原型——「在 Claude 项目里观看 subagent 工作」和「提问后看答案在黑板逐步讲解」；@LEJ_limited 用 40 张照片构建、一体打印的百年地标 3D 模型。线程以「Claude Fable 5.2 is now available. What will you explore?」收尾，截至检索时获逾 9,000 次点赞、约 46 万次浏览。
这份清单由厂商挑选与转述，作品效果未经独立验证。
仍未补齐的信息：精确数字的归属、人工评审的节奏
deSouza 写的是「超过 40%」；公开渠道的精确值 41.3% 目前出自 Scale Labs 的账号帖与 Anthropic 的发布表格，两者分别属于基准方与发布方。另一个口径细节是档位：模型有从 low 到 max 的推理力度档（effort），41.3% 是 High effort 档的成绩，不是该模型最高档位的表现。Scale Labs 还在排行榜说明中写明，RLI 依赖受训评审员人工评审复杂的多模态交付物（3D 模型、视频、CAD 等），这使得高频测试新的代理框架变得困难。那 141 个未达标项目集中在哪些领域、失败形态是否仍与上线时的归纳一致，要由基准方的后续拆解来回答——而在依赖人工评审的 RLI 机制下，这类细分数据不会快速产出。