AREX Feed Article
Paweł Huryn 实测 Haiku 5.5：105 个仓库 bug 修复 21.5 个、花费 5.83 美元，高于 GPT-6 Luna，仍远低于 Sonnet 5.5
10 月 8 日 07:03（UTC，北京时间 15:03），独立评测者 Paweł Huryn 发布了对 Claude Haiku 5.5 的真实工程测试结果：在两个生产代码库里重新植入 105 个 bug——他称这批 bug 是 2026 年初的前沿模型没能找到的——让每个模型在各自的 agentic CLI 里把它们找出来修掉。Haiku 5.5 在 max effort 档（推理力度最高档）修复 21.5 个、花费 $5.83，高于 ；而上一代 Haiku 4.5 在默认档只修好 1.5 个（$2.22）。在它之上还有同门两款大模型：Opus 5.5 与 Sonnet 5.5 在 xhigh 档各修复 36 个。
他在帖子里写道：「在 4.5 和 5.5 之间，Haiku 从一个没有 effort 档位、派不上用场的模型，变成了一个能承担真实工程任务的模型。」成本的差距同样具体：修得最多的 Opus 5.5（xhigh）花了 $34.98，Haiku 5.5 用大约六分之一的价格拿到了它们六成的修复数——不过它的账单仍是 Luna 的约 11 倍。
Haiku 5.5 是 Anthropic 于 10 月 7 日发布的小型模型，官方称其为最快、最便宜的小型型号，平均运行成本约为 Haiku 4.5 的四分之一；，称它是「首个支持 reasoning efforts 的 Haiku」，比上一代便宜约 75%，并实测到 100+ TPS 的生成速度，目前可正常访问。发布时的性能与成本数字均属厂商口径，而过去一天里，第三方测试正从不同侧面给出外部读数：编码能力、长任务成本、推理速度。
在 Huryn 的编码测试发布前几个小时，先给这款模型画了一个价格锚点；Bug Hunt Bench 则把问题换成了编码本身：两个生产代码库、105 个重植入 bug，按修复数计分。
盲评怎么打分：只认 diff，不认报告
按 ，测试用的是两个互不相关的生产代码库：一个约 2.8 万行的 TypeScript VS Code 扩展（藏了 45 个 bug），一个约 6 万行的 React/Supabase 课程系统（60 个 bug）。大多数 bug 是从代码库自身的修复历史里回退重植的真实回归，各带一个修复 commit；测试套件保持全绿，没有任何东西指向答案。每个模型拿到完全相同的 prompt，每个库跑一轮，且在各自的 agentic CLI 里执行——Haiku 系走 Claude Code，Luna 走 Codex CLI。
评分是盲评：独立评审对照一份模型永远看不到的答案钥匙给 diff 打分，不知道 diff 出自哪个模型。只计入植入 bug；模型顺手修掉的其他真实缺陷单独记录、不加分；改了一半和只在报告里点名的 bug 同样不得分。Huryn 在推文里对这批测试题的描述是：「我用真实工作测试了 Haiku 5.5。2 个仓库，105 个 2026 年初前沿模型没发现的重植入 bug。能修多少修多少。」
榜单目前收录 43 个模型、209 次运行，关键排位如下（成本与耗时取自 ）：
| 模型（effort 档） | 修复数 /105 | 成本 | 耗时 |
|---|---|---|---|
| GPT-6.1 Sol（xhigh） | 42.7 | $4.35 | 98.7 分钟 |
| Opus 5.5（xhigh） | 36 | $34.98 | 42.5 分钟 |
| Sonnet 5.5（xhigh） | 36 | $42.86 | 72.7 分钟 |
| Haiku 5.5（max） | 21.5 | $5.83 | 32.5 分钟 |
| DeepSeek V4.1 Flash（high） | 19 | $0.31 | 26.1 分钟 |
| GPT-6 Luna（max） | 18.3 | $0.52 | 99.2 分钟 |
| Haiku 5.5（xhigh） | 18.3 | $4.80 | 24.1 分钟 |
| Gemini 3.8 Flash（high） | 18 | $11.03 | 38.7 分钟 |
| Haiku 5.5（high） | 16 | $3.56 | 19.3 分钟 |
| Haiku 4.5（默认，无 effort） | 1.5 | $2.22 | 16.9 分钟 |
注：Anthropic 与 OpenAI 各行的成本均为按厂商牌价的 token 估算，不是实际账单；Haiku 5.5 max 档为 2 次运行均值，Luna max 档为 3 次均值。推文摘要里 Sonnet 5.5（xhigh）与 Haiku 5.5（high）两行的成本与榜单不一致，见「还没对齐的数字」一节。
Haiku 5.5 的 effort 阶梯这次被完整爬了一遍：low 档 11 个（8.7 分钟、$1.61），medium 档 12 个，high 档 16 个，xhigh 档 18.3 个，max 档 21.5 个——每一档都有产出。这正是上一代缺的东西：数据文件里，Haiku 4.5 所在路由的 effort 设置被标为「完全被忽略」，没有可调的旋钮。
推文里 Luna 那一行末尾挂着一句「但看看耗时」，榜单给出了答案：99.2 分钟。同样修好 18.3 个，Luna max 档花的时间约为 Haiku 5.5 max 档（32.5 分钟）的 3 倍，成本却不足其十分之一。
Browser Use Bench 的对照：性能追平 Luna，长任务账单贵 2.8 倍
Browser Use 的这份评测给出的是另一面：在 Browser Use Bench v2.1 的 180 个共享任务上，Haiku 5.5 与 GPT-6 Luna 表现相同，但贵 2.8 倍。原因指向定价结构——Haiku 5.5 在 100k token 之后价格涨 5 倍，且缓存 token 也计入，而这套基准多为极长程任务，经常撞上这一档价格。
其对比图显示，Haiku 5.5 的 effort 阶梯从 low 档 45.6 分爬到 max 档 65.3 分，其中 xhigh 档 69.5 分与 Luna xhigh 档的 69.0 分基本持平；图上还标注了输出上限的不对称：Haiku 为 32k，Luna 为 120k。需要说明的是，这份结果出自第三方的单一 harness 评测。
回帖里的两笔账：边际 bug 的价格与误报算不算分
测试发布后几小时内，回帖里出现了两笔值得记录的账。一位读者按推文里的成本口径算出：Sonnet 5.5 比 Haiku max 多修的 14.5 个 bug 只多花 14 美元，「合每个边际 bug 一美元，这是整个榜单上最便宜的工程劳动力；省下这 14 美元，只是把这 14.5 个 bug 留在仓库里等生产环境去发现」（）。另一条直指方法：这个分数惩罚误报吗？「一个什么都能报出来的便宜模型也能抓到很多植入 bug；在信任 Haiku 之前，我想看到它报告里有多大比例是真的」（）。
第二问其实已部分写在规则里：盲评只认 diff，只在报告里点名而无对应修复的 bug 会被单独记入一栏、不计分——Haiku 5.5 max 档两次运行的均值里有 3.5 个这样的「只报未修」。至于第一笔账，它的前提（Sonnet 5.5 xhigh 档 $19.85）与榜单数据有出入，见下节。
还没对齐的数字：成本口径、运行方差与推文摘要的两处出入
先说口径。数据文件里 Anthropic 与 OpenAI 各行的成本都标为「按牌价估算」而非账单，作者在注意事项里写明：这些数字「不可互换，也都不是对你实际会支付金额的报价」。
再说方差。作者自己的统计是：同一配置重复跑三次，分数相对首跑的中位移动为 1.8 分（满分 105），36 个配置里 17 个移动超过 2 分、最大 14 分，并提醒「两次单次运行之间的几分差距，请当作可能的噪声来读」。Haiku max 档对 Luna max 档 3.2 分的优势（21.5 对 18.3），需要放在这个背景下读。
第三处是推文与榜单的出入。推文摘要写 Sonnet 5.5（xhigh）「36 for $19.85」、Haiku 5.5（high）「16 for $4.80」；而同步上线的榜单里，$19.85 是 Sonnet 5.5 high 档（34.3 个）的成本，xhigh 档（36 个）为 $42.86，$4.80 对应的是 Haiku 5.5 xhigh 档（18.3 个），high 档（16 个）为 $3.56。两处都不改变排位方向，但引用具体成本时需要核对数据文件。
OpenRouter 上架帖所附的是厂商自报基准表：Haiku 5.5 在 Terminal-Bench 4.0 自报 39.2%（GPT-6 Luna 为 16.4%）、FrontierCode 1.1 自报 46.4%（Luna 为 42.4%）。这些数字来自不同基准，与 105 个 bug 的计分不可直接换算，目前也没有对应的独立复现。
effort 档位怎么给，是这份榜单上拉开成本差距的变量之一。Huryn 在补充说，Sonnet 5.5（max）靠比 GPT-6 Astra 多跑 7 倍的轮次取胜，「是我测过的最执着的模型，也是榜单上最贵、最慢的——这可能是 Anthropic 的校准失误，让它在实践里没了用处」。
一个可以持续核对的数字是：105 个 bug 里，至今仍有 29 个没有被任何模型在任何一次运行中修掉，榜首 GPT-6.1 Sol 也不例外。榜单随每次运行更新，下一次 Haiku 5.5 的排位变化，读者可以直接在数据文件里验证。