AREX Feed Article
Scale Labs 发布 HSS 基准：522 项直觉视觉任务，人类 93.1%、最高分模型 GPT-6-astra 53.6%
Scale AI 的研究团队 Scale Labs 与 Elorian 合作发布了直觉视觉推理基准 Humanity's Sixth Sense（HSS，直译为「人类的第六感」）。的时间戳为 UTC 2026 年 10 月 7 日 19:45，即北京时间 10 月 8 日凌晨 3:45；同一线程的列出、与数据集的地址。
发布帖给出的三个数字是：522 项开放式任务上，人类参与者得分 93.1%；25 个受测模型（来自 8 家厂商）中得分最高的 GPT-6-astra（最大推理强度）53.6%；中位数 30.9%，与人类基线相差 39.5 个百分点。榜单页面写明，所有分数均为 pass@1，即每项任务尝试三次后按任务取平均，± 为 95% 自助区间半宽；把差距归结为一句话：模型漏掉了人一眼就能看到的东西。
一个书架、一面旗子：任务问的是画面之外的事
HSS 的 522 项任务对应 522 份媒体：288 张图片、234 段视频，视频总长 17.6 小时（中位 76 秒，最长 28 分钟）。任务分四个域、11 个子域：时间与因果动态（回溯、机制因果、外推）、物理与空间逻辑（隐藏与不可见、可供性与可行性、空间「外星视角」、空间可达性）、社会理解（心智理论、社会角色与规范、权力动态）、抽象与情境推断（变化与后果、模式与空想性错视）。全部任务用 723 条评分标准（rubric）判分，平均每项 1.39 条，71.5% 的任务只有一条。
论文举的示例说明了这类题在问什么。书架那道题：这个书架上还能再放下两本白皮书吗？GPT-6-astra、Gemini-3.8-flash 和 Claude-Opus-5.5 三次尝试全部答错，给出的答案都是「不行，空隙太小」，参考答案是「可以，现有的空隙就放得下」。另一道题的画面是一面条纹旗，问风往哪边吹：三个模型都答「从右往左横穿画面」，参考答案是「吹向镜头」。还有一道题问农具上的链条是否承受犁的拖拽力，模型答「没有，链条松垂」，参考答案是「在承受，链条绷紧、带着负载」。
论文把这类能力定义在低层感知与专家级分析之间：题目要的是从画面加日常经验里推出没被画出来的东西，比如意图、物理约束、先前发生的事、下一步的走向。为此 HSS 设了三条准入规则：答案必须超出画面所画，如果一张高清裁切就能让答案变得显而易见，这道题会被拒；不得依赖专业知识，符号计算、学科知识和职业训练都在禁止之列；问题与参考答案必须得到评审的一致同意，否则不予收录。
素材取自 Wikimedia Commons、Openverse 和 Internet Archive，只接受公有领域、CC0、CC-BY、CC-BY-SA 四种许可，逐条携带作者署名；所有视频一律去掉音轨，靠语音或画外音才能分辨的题被排除在基准之外。
3,466 条候选任务，三轮独立评审后留下 522 条
每道题由受过训练的标注人员分三步写成：从媒体池里选出图片或视频，把它归入某个域和子域，再写出问题、参考答案和一份把参考答案拆成可独立核验条目的 rubric。之后进入三轮独立评审，每轮评审只能给出三种结论：通过、退回修改或直接淘汰；被退回的题目修改后要从头重走整个流程。
与榜单页面给出了逐轮人数：起初 3,466 条任务，通过第一轮 1,164 条，第二轮 559 条，第三轮 522 条，整体接受率 15.1%。第一轮淘汰最狠，一次去掉 2,302 条，两个主要原因是被问到的东西已经直接画在画面里，以及评审无法就标准答案达成一致。论文写道，每条最终发布的 rubric 都经过作者之外的至少三名评审核验。
评分环节由 Claude-Opus-5 充当自动 LLM judge，逐条判定 rubric 是否被满足，全部满足才算这道题答对，部分正确不给分；这套评测由发布方自己运行，结果公布在自己的榜单上。judge 默认看不到图片或视频，只看问题、参考答案、rubric 和候选答案。为了检验判分本身是否可靠，发布方用三家厂商的三个 judge 重新评了 5 个模型、2,620 个条目、3,780 条标准：排名完全保持（相关系数 r ≥ 0.98），条目与标准层面的一致率都超过 95%，GPT-5.6-terra 平均比主 judge 严格 2.4 分，且偏差是均匀的；Claude-Opus-5 给自己打分时低了 0.44 分，论文据此认为没有出现自偏好。
8,573 次失败里，94% 出在「看」和「补」
论文对主评测中 8,573 次失败的首轮作答做了归因，按 11 类原因分成三族：感知类占 53%，隐含推断类占 41%，推理类只占 5%。Scale Labs 博客把前两类合并表述为「94% 的失败来自感知和隐含推断，只有 5% 来自逻辑错误」。单类原因里占比最高的是漏掉决定性的视觉线索（21%）和认错物体、人或角色（20%）。
这些错误在不同厂商的模型之间高度一致：在有五个以上模型答错的任务上，中位 80% 的失败来自同一个原因。子域还会呈现出各自的失败签名：可供性与可行性、空间可达性主要输在尺寸与能否放得下（分别占 62% 和 56%），外推主要输在朝向判断（42%），隐藏与不可见主要输在看不见的数量（44%）。
分域看，社会理解是模型最弱的一项：25 个模型中有 21 个在这个域上得分最低，平均 24.4%，其余三个域平均 34.1%。人类基线在社会理解上是 89.1%，同样是自己各域里最低的一项，但比模型平均高出 64.7 个百分点。媒体类型上，视频比图片更难：25 个模型中有 23 个在视频上得分更低，平均低 7.3 个百分点。
对照实验说明了这些任务的性质：把媒体抽掉、其他条件保持不变，GPT-6-astra 从 53.6% 掉到 6.6%；522 项任务里只有 4 项在三次盲测中全部通过，67 项至少通过一次。论文的判断是，盲测通过的只是二选一题目上接近随机水平的猜测，而不是模型真的掌握了解法。
多想、多给工具，差距仍在
模型在人类一眼就能答的题上写了很多字：25 个模型平均每项任务消耗约 4,000 个推理 token。提高推理强度整体上有帮助，局部却会倒退：GPT-6-astra 在「回溯」子域从 high 提到 xhigh 时掉了 14 个百分点，峰值准确率经常出现在中间档而不是最高档。给更多画面同样只换来有限提升：视频帧预算从 10 帧加到 500 帧，GPT-6-astra 涨了 17.9 个百分点。
把模型放进 agent 框架，允许它们裁剪、放大、重新采样媒体，提升幅度与算力代价差别很大。在 388 项子任务上，Codex 里的 GPT-6-astra 从 54.4% 升到 59.3%（+4.9 个百分点，平均 2,040 个思考 token，中位 14 步）；Claude Code 里的 Claude-Opus-5 从 30.8% 升到 51.3%（+20.5 个百分点），代价是平均 43,764 个思考 token、中位 72 步；同一框架里的 Claude-Fable-5.1 从 41.2% 升到 57.7%。
工具带来的收益集中在画面里本来就有的证据上。四个 agent 与模型组合合并计算，失败数从 944 次降到 759 次，其中模式与空想性错视子域提升 30.9 个百分点，回溯提升 20.4 个百分点；而把 2D 重叠误读成 3D 对齐的深度错误几乎没动，从 102 次减到 101 次，空间可达性只提升 4.8 个百分点。agent 的错误轨迹也更长：Claude Code 在答错的任务上中位 81 步，答对的任务 67 步；论文把「过度分析输入、推翻自己最初正确读法」列为 agent 循环特有的一种失败模式。
93.1% 的人类基线，和发布方列出的限制
人类一侧来自 20 名标注人员，他们在与模型相同的自由作答条件下答题，整体得分 93.1%，比最好的模型高近 40 个百分点。每人同时给每题标注自报置信度：他们只在 522 项中的 63 项（12.1%）上不确定；这些不确定的题仍有 85.7% 答对，确定的那 459 项答对率是 94.1%。
论文与榜单页面同时写下了这套分数的边界：基准只看视觉通道，视频去掉音轨也不提供字幕，靠说话或画外音才能分辨的题被排除在外；分数由 LLM judge 中介，而 judge 已知带有包括自偏好在内的偏差；媒体来自公开网页，无法完全排除同一张图或同一段视频曾出现在训练数据里；心智理论类的结果只能读作「与标注人员判断的一致度」，而不是对被拍摄者心理的真实推断。
发布方随论文公开了 与评测代码，代码里包含模型注册表，任何一行都能按给定的接口和设置复现；榜单确认的指标全部跑在包含 522 项任务的冻结版本上。论文对 agentic 设置的表述是，动态的视觉操作缩小但未关闭这一差距；HSS 则被定位为一条「当前 scaling 尚未推动」的能力轴。