AREX Feed Article
Cognition 称 Devin Fusion 在 Coding Agent Index 得 68 分,成本比 Claude Code(Opus 5.5)低 31%
10 月 19 日 21:09 UTC(北京时间 10 月 20 日 05:09),Cognition 的官方 X 账号发帖称,Devin Fusion 以 Opus 5.5 作 lead(主导模型)、GPT-6 Luna 作 sidekick(辅助模型),在 Artificial Analysis(下称 AA)的 Coding Agent Index 上得到 68 分,是最高分;同一帖称,它每任务成本比使用 Opus 5.5 的 Claude Code 低 31%()。
帖文附带的散点图里,Claude Code 配 Opus 5.5 (max) 落在 66 分,Devin Fusion 落在 68 分,两点之间写着「+2 Score」「−31% Cost」;Claude Code 配 Sonnet 5.5 (max) 也落在 68 一线。横轴是对数刻度,从 $5.00 到 $20.00。
68.1:Cognition 自己把分数写得更细
Cognition 在 9 月 11 日的 Fusion 发布博客里补了一条脚注:图表于 10 月 19 日更新,纳入 Opus 5.5 与 GPT-6 Luna 的组合,得分 68.1,比使用 Opus 5.5 的 Claude Code 低 31% 成本()。帖文里的 68 是取整后的写法。
博客图表的数据里,Claude Code 每任务 $13.04,Devin Fusion $9.01;($13.04 − $9.01) ÷ $13.04 = 30.9%,与 31% 的说法一致。分数和「最高分」的说法都来自 Cognition 对 AA 指数的引用,31% 也是公司自己的口径。
指数算的是 303 个任务,成本按 API 计价
AA 的 Coding Agent Index v1.5 取三个基准的等权平均:DeepSWE v1.1(113 个任务)、Terminal-Bench 4.0(66 个)、SWE-Atlas-QnA(124 个),合计 303 个;每个任务跑三次,按 pass@1(单次尝试通过率)计分,超时或被安全策略拦下的尝试记零分()。
成本按 API 的 token 单价计算,不含订阅。AA 在页面上提醒,很多用户是通过订阅套餐而非按 token 使用编码智能体的,订阅价与 $13.04、$9.01 不是同一回事()。
更贵的 lead,为什么总价更低
Fusion 把一次会话拆给两个并行 agent(智能体)。lead 用前沿模型,负责计划、解释模糊需求和审查;sidekick 用便宜模型,负责读代码、写实现、跑测试、修 lint 和 bug。两者只交换任务简报、结果与反馈,不传完整对话历史,各自维护上下文,以便反复命中 prompt cache(提示缓存)。
Jeff Wang(@jeffwang)在引用这条帖文时补了一段:没有哪个模型在所有任务上都是同价位里最好的,换模型的代价是要刷新 prompt cache;Fusion 尽量让缓存维持更久,同时并行跑便宜模型,最后由前沿模型校验并修正输出()。
Cognition 还举过一个与直觉相反的例子:Fable 的 token 单价比 Opus 4.8 高约一倍,但把它放上 lead 位、sidekick 不变,会话平均便宜 9%,因为 Fable 委派更早、简报写得更好。这些解释都没有附可复算的账单。
9 月的组合还是 Fable 5.1 加 SWE-2
Fusion 在 9 月 11 日进入 Devin Desktop 和 CLI 时,Cognition 推荐的组合是 Fable 5.1 作 lead、SWE-2 作 sidekick。Cognition 称这套搭配在主要编码基准上最多比其它 harness(模型运行框架)省 39% 成本。10 月 19 日新增的 Opus 5.5 + Luna 组合,是同一套 harness 换了一对模型。
9 月 28 日,Cognition 还公布过另一组数字:Devin 在 Fusion 与 Normal 模式下便宜 30%~40%,Fusion 以 68.8 分、平均每任务 $0.60 领跑 FrontierCode 1.1 的 Extended 榜()。那是另一套基准,68.8 与 68.1 不是同一个分数。
横轴从 $5.00 开始
图上容易被略过的是横轴:它从 $5.00 起,每任务成本低于 $5 的配置不在画面里。X 用户 Zachi(@iam_zachi)在帖文发出约 80 分钟后引用写道,这张图「是个灾难」——把低于 5 美元的模型全切掉,只是为了让「最吸引人的象限」移动、让差距显得更夸张;他承认「仍然是 68 分,仍然更便宜」,但「不是宣称的那样」()。
图上只标出少数几个配置。Cognition 的帖文称 68 是最高分;公司自己更新后的图表把 Claude Code 配 Sonnet 5.5 (max) 标在 68.4,把 Devin Fusion 标在 68.1,按这两个标注,前者高 0.3 分。