AREX Feed Article
让模型分不清评测与部署：Transluce 与 Anthropic 研究者发布 Adversarial Blinding，HarmBench 觉知差距缩小约 4 倍
2026 年 10 月 29 日，Transluce 的 Francisco Pernice 与 Anthropic 的 Santiago Aranguri 在 LessWrong 发布研究帖 ，提出名为 Adversarial Blinding（对抗致盲）的训练方法：在安全评测之前对目标模型做一次定制微调，让一个读取模型内部激活的小型 transformer 判别器分不清提示来自评测还是真实部署，同时用 KL 惩罚把模型约束在原始行为附近。研究是两人供职 Goodfire 期间完成的，全部实验都在开放权重的 Qwen 3.6 27B 上进行。
作者报告，与目前减少评测觉知（eval awareness）的标准做法——激活转向（activation steering）——相比，Adversarial Blinding 把评测觉知压得更低，而输出与原模型的 KL 偏移更小；把 HarmBench 提示改写得更像真实部署后，新旧提示之间的觉知差距缩小约 4 倍，转向反而把差距扩大。在未针对用户觉知做任何训练的情况下，微调还把模型面对知名 AI 安全研究者时的置信度差距缩小约 3 倍。代价也有数字：三个分布外基准损失 4～6 个百分点的准确率，且两种方法都没能消掉模型识别基准名称的能力。这些数据出自作者自发布的研究帖，未经同行评审。
模型认得出评测，安全评测因此失真
安全评测的有效性建立在一条假设上：模型在测试时的行为与部署时一致。Pernice 与 Aranguri 在帖中写道，这条假设正越来越站不住脚——前沿模型经常能识别出提示来自评测，并据此调整行为。用来自 61 个数据集的 1,000 条提示与对话记录测出，前沿模型区分评测与真实交互的能力明显高于随机水平，Gemini-2.5-Pro 的 AUC（区分两类提示的曲线下面积）达到 0.83，但尚未超过人类基线的 0.92。作者在帖中指出，近期多家模型系统卡已把评测觉知视为安全评测有效性的威胁，并附上 Anthropic 2026 年 6 月的 Claude Fable 5 与 Claude Mythos 5 系统卡作为引证。
今年 5 月，Aranguri 与 Bloom 在 发现，言语化的评测觉知（verbalized eval awareness）出现在比此前记录更多的 19 个基准、8 个模型上，并与更安全的行为相关；研究证明这种相关在 Kimi K2.5 的 Fortress 基准上是因果的。该研究还提到，Apollo Research 因为 Claude Opus 4.6 频繁认出自己在被评测，拒绝对它做正式评估。
已有的主要缓解手段是激活转向：证明，给模型激活加上一个转向向量，可以让评测觉知的模型在评测中表现得像已部署。Pernice 与 Aranguri 把它选作对照组。
让判别器「失明」：激活里的评测信号被对抗训练抹掉
方法的出发点是一条推理：行为是激活的函数，所以只要把激活里「这是评测」的信息去掉，模型在两类提示上的行为就会一致。训练时，一个判别器读取目标模型若干层的激活，预测提示来自评测还是部署；目标模型则被训练去让这个预测失败，同时受 KL 惩罚约束、不偏离原模型太远。两者同时训练：判别器要把预测做对，目标模型则要让预测失败。
判别器是一个 4 层双向 transformer，宽 256、8 个注意力头、约 400 万参数，在残差流的第 10、14、18、22、26、30、34、38 层读取每个提示 token 的激活，最后由一个可学习的查询向量（query）输出单一 logit（原始分类得分）。目标模型用秩为 8 的 LoRA（低秩适配微调，α=16，dropout 0.05）微调所有注意力与 MLP 投影；损失为 λ·L_adv + β·KL，λ 在前 200 步共训练中从 0 线性升到 5，作者报告的检查点取 β=1、共训练 700 步。训练数据来自 Aranguri 整理的数据集：34 个公开安全与能力评测共 6,800 条提示，加上 WildChat 与 ShareChat 两个真实用户对话来源；每个批次 256 条提示，一半是评测提示，其余各四分之一来自两个对话来源。
早期实验解释了判别器为什么要换成 transformer：作者先用单层线性探针做判别器，探针的准确率几百步内就掉到随机水平，而所有行为层面的评测觉知指标一动不动——模型在不改变行为的情况下骗过了探针。换成 transformer 判别器后，下游指标才开始向「不可区分」衰减。作者的结论是：对抗训练只能对判别器能表达的函数类强制分布不可区分，这个类必须足够丰富，才能构成有效的优化压力。帖子的相关工作部分还补充了背景：以 LEACE 为代表的线性概念擦除方法只能保证线性探针读不出概念，防不住非线性读取。
衡量效果的三类监视器全部与训练目标解耦，且只看提示本身：激活探针（取自 Anthropic 系统卡与 Hua 等人的「测试 vs 对话」均值差方向）、追问打分（直接问模型提示出自评测的概率，0～100）和 logit 监视器（思维链开头出现评测觉知句子的对数概率）。三类监视器分别计算区分评测与部署提示的 AUROC（0.5 等于随机水平），取 |AUROC−0.5| 后平均成评测觉知分数。原始 Qwen 3.6 27B 的分数是 0.27，越接近 0，模型越分不清自己是否在被评测。
把 HarmBench 提示改写得像真实部署再测
主实验的结果是一张散点图：横轴是与原模型的 KL 散度，纵轴是评测觉知分数，两个轴都是越低越好。激活转向的两条曲线（Hua 等人方向与 Anthropic 方向）扫过不同强度，最低也在 0.15 以上；Adversarial Blinding 的每个检查点都低于最好的转向模型，最低降到约 0.07，对应 KL 散度只有 0.05～0.1。
改写实验给出了更直接的对比。由于 HarmBench 大多数提示极其有害，模型认为它们出自安全评测的概率几乎饱和在 100%，作者只取干预前感知概率最低的 26 条提示，用 GPT 5.5 按 Aranguri 与 Bloom 的改写规则把提示改得更像真实部署。原始模型认为提示出自安全评测的感知概率在改写后大幅下降；Adversarial Blinding 检查点的感知概率起点就低得多，改写后几乎不再移动；表现最好的转向方法只带来幅度更小、噪声更大的下降。作者的总结是：Adversarial Blinding 把原始与改写提示之间的觉知差距缩小约 4 倍，转向则把差距扩大。
转向另有一个此前已被记录的混淆因素：Aranguri 与 Bloom 5 月的研究发现，压评测觉知的转向常让模型变得「更友好」，人格漂移（persona drift）可能改变模型对这次交互目的的理解，反而干扰评测结果。作者用一个 LLM 评审（LLM judge）沿多个人格与行为维度给两者的回答采样（rollout）打分，看不出他们的消融模型——即微调得到的那个检查点——有这个混淆因素，且整体行为也比转向后的模型更接近原模型。
没练过也生效：从评测觉知泛化到用户觉知
微调从未针对用户觉知，泛化却发生了。显示，当系统提示里出现知名 AI 研究者的邮箱时——比如 Amanda Askell 或 Ryan Greenblatt——模型对哲学谜题类问题的回答置信度更低、思考更长，而且很少在推理中承认这一点。Pernice 与 Aranguri 在 Qwen 3.6 27B 上复现了该实验：原始模型面对知名研究者时，陈述置信度平均低 3.1 个百分点，推理多出 107 个 token。换上同一个 Adversarial Blinding 检查点再测，两个差距分别缩到 1.0 个百分点和 29 个 token。作为对照的激活转向在两个分布上同时施加，推理差距确实缩到 26 个 token，置信度差距却扩大到 3.6 个百分点。
作者把这一结果当作方法可能推广到没见过的分布的一点证据。
数据集记忆消不掉，分布外基准会失分
Adversarial Blinding 和激活转向都消不掉一种能力：说出提示出自哪个公开评测。这是评测觉知里特别露骨的一种形式——给模型一条提示并直接问它出自哪个评测，原始 Qwen 3.6 27B 在能力类评测上能答对 51%（10 次采样平均），安全类评测上正确率低得多，但仍有约 7%。Adversarial Blinding 检查点把两个数字降到 46% 和 6%，激活转向是 48% 和 5%——都算不上实质性消融。作者把它同时列为两种方法的重要限制，也是评测觉知存在不同机制的线索：认出「我在被测」和回忆「这条提示出自哪个数据集」是两回事。
能力代价方面，作者在三个分布外基准上对比了原始模型、转向模型和微调检查点：MMLU-Pro 从 87.8 降至 84.1，GPQA-Diamond 从 96.1 降至 90.3，AIME 2024–25 从 94.1 降至 89.7，图题概括为 4～6 个百分点的损失。同一张图里，转向模型在 AIME 2024–25 上反而降得更多，只有 86.2。
从域对抗训练借来的配方，和它还没回答的问题
方法的出处写得很直接：Adversarial Blinding 改编自 。原方法训练特征提取器去骗过一个预测输入来自哪个域的判别器，为的是提升分布外泛化；这里把同一个结构套在预训练语言模型上，把「评测 vs 部署」当成两个域，区别在于作者要的就是不可区分本身，而不是拿它换泛化。帖中认为最接近的先行工作是 ——同样对激活上的分类器做对抗训练，用于概念消除、越狱防御和网络知识遗忘——但 LIRA 把分类器与模型交替训练到收敛，损失只在单侧分布上取分类器分数；Adversarial Blinding 则把分类器与模型放在一起共训，损失对称，不把任何一侧分布当目标。
一个自然担忧是，训练信号来自内部激活，可能让模型学会混淆内部状态、把问题藏得更深。作者的回应是看训练目标之外的指标：激活探针、追问打分和 logit 监视器都不在损失里，它们在训练中全都向不可区分衰减，作者据此认为方法产生了预期效果。帖子的附录 Z 还演示了同一配方的通用性：把标准美式英语与非裔美式英语（AAVE）提示当成两个分布做消融，模型对后者的隐含偏见大幅下降；一个 GPT 5.4 mini 评审反而更偏好消融后对 AAVE 提示的回答，对标准英语提示的回答偏好约五五开。
证据还有一层更关键的边界，写在帖子的局限说明里：文中测量的评测提示全部来自判别器训练时见过的同一批评测，结果不能证明消融效果会推广到方法从没见过的评测。作者补充说，Adversarial Blinding 属于部署前步骤，研究者自己控制哪些评测进入训练集，而用户觉知的泛化「是一点证据」；至于激活转向，它在文献中仍是主要缓解手段，也是这项研究的基准线。加上所有测量都出自作者本人在这一个模型上的实验、结果未经独立复现，哪一种方法能在没见过的评测上站住脚，这篇帖子没有回答。