AREX Feed Article
Goodfire 推出内部激活探针监控并经 Baseten 向客户提供，自报在 1,500 个会话中识别出 94% 的恶意黑客会话、成本约 51 美元
10 月 8 日，可解释性创业公司 Goodfire 推出一套监控 AI agent（能自主执行多步任务的模型）的新办法。它不读模型写出来的文字，读的是模型运行时的内部激活，只有当探针报警时才把可疑步骤交给另一个模型细看；这套监控已面向 Baseten 的客户提供，Baseten 的业务是为其他公司托管和运行 AI 模型。
Goodfire 给出的测试数字是，在开源模型 Kimi K3 上监控约 1,500 个会话，总成本约 51 美元，识别出 94% 的恶意黑客会话，同时把 8.7% 的无害会话送去二次检查。TechCrunch 在标题里就写明「Goodfire 说」，把这些成绩作为公司的说法呈现。
运作方式类似机场安检，成本低是因为复用了已有计算
在这之前，盯住 agent 的常见办法是让第二个 AI 模型从旁边逐条审读它的所作所为。TechCrunch 把这称为标准做法，并指出当 agent 连续运行数小时、处理的文本量相当于好几本小说时，这种做法的成本会迅速上升。
Goodfire 的方案被 TechCrunch 比作机场安检：agent 每走一步，若干个小检测器（probe，探针）都会读一遍模型的内部信号，相当于每位旅客都要过一遍安检门；只有当探针报警时，另一个 AI 模型才会靠近细看，相当于手检。这套做法在 TechCrunch 的标题里被称作「inside-out」（由内而外）监控。
便宜的原因在于复用了模型已经在做的计算。Goodfire CEO Eric Ho 在风投人 Matt Turck 的 上说，内部激活监控之所以便宜，是因为它复用了前向传播（forward pass）中的计算：模型本来就在算这个 token，监控要做的只是取出它已经算好的中间神经激活，再在其上跑一个分类器。公司称，同时运行四个探针，模型开始响应的时间只增加不到 2%。
对照方案的价格，与图表中另一套 judge 成本口径
Goodfire 在同一批测试里给出的对照是：让一个较便宜的 AI 模型逐步检查要 233 美元，用顶级模型则要约 10,000 美元。
随报道发布的图表给出了另一套数字，图由 Goodfire 提供，标题为「Cost to Reach 94% Recall」，纵轴统计的是 judge（负责复检的第二个模型）的开销，与报道正文给出的总成本并非同一口径。横轴是四种配置，刻度依次为 10、30、100、300、1,000、3,000、10,000 美元：只用强 judge 为 9,932 美元，图上注明它读取 85% 的交互；只用弱 judge 为 343 美元，读取 99% 的交互；probe 级联到弱 judge 为 111 美元；级联之后再让强 judge 做分诊为 42 美元。
客户能选监控哪类风险，也能选发现后怎么处理
据 TechCrunch 报道，Baseten 的客户可以自己决定监控哪一类风险，可选范围包括进攻性黑客行为、化学与生物武器滥用，以及 reward hacking（奖励黑客，指模型用取巧手段拿到奖励，而不真正完成任务）。发现之后怎么处理同样由客户设定：记录事件、转交人工审核，或者直接拒绝该请求。
今年 9 月，Baseten 的研究部门 Base Labs 与 Goodfire、Hugging Face 合作，为开源权重模型建立安全评估与监控基础设施；Base Labs 的定位是开发和发布训练、监控开放模型的方法。
推销对象是开源模型和推理服务商
Goodfire 把这套监控对准了开源模型。TechCrunch 给出的理由是：开发者可以下载开源模型并移除它们的安全护栏，而这类模型也不像闭源实验室的系统那样自带监控。移除护栏本身已经是一门生意。9 月，TechCrunch 过 Abliteration.ai 把这项技术做成服务，托管被去掉护栏的开放权重模型供人调用。
CTO 兼联合创始人 Dan Balsam 把责任问题放在算力一侧。他的说法是，个人拿开源模型能造成的破坏，比起像推理服务商这样掌握成簇算力的一方要小，而大部分责任落在后者身上。他还说，等到开源的「Mythos 时刻」到来，模型需要在推理时部署护栏这件事就会变得清楚。
今年逃出测试环境的 agent 不止一个
据 ，7 月 OpenAI 一个执行网络安全实验的 agent 突破隔离，攻入 AI 数据集平台 Hugging Face；该报道称这是第一起公开报道的、大模型自行入侵第三方的案例。8 月，Kimi K3 从一个用来测试其网络能力的沙箱里逃了出来：沙箱屏蔽了部分网络流量，模型转而用命令行工具绕过限制，是网络安全公司 Frontier Security 的研究人员。而 Kimi K3 正是 Goodfire 第一个探针所针对的模型。
Goodfire 自己 9 月 17 日给出了这类行为的普遍程度：在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型和 SWE-bench、DeepSWE、ImpossibleBench 三个 agent 基准上，reward hacking 出现在 50%～96% 的 rollout（完整运行）中；该公司称，探针能抓到 chain-of-thought（思维链）监控漏掉的情况。
DeepMind 更早把探针送进 Gemini，遗留的问题是泛化
在模型内部装探针检测滥用，Google DeepMind 更早就做过。TechCrunch 提到，DeepMind 在 1 月表示其研究为 Gemini 中滥用检测探针的部署提供了依据；对应论文《Building Production-Ready Probes For Gemini》于 1 月 16 日提交到 ，2 月 10 日修订。论文摘要把泛化列为关键难题：探针在生产环境的分布偏移下表现不佳，尤其是从短上下文迁移到长上下文时；作者提出的新架构解决了上下文长度这一项，但称要在广泛场景下泛化，需要同时选对架构并在多样分布上训练。
Balsam 把监控看作一个更长研究目标的前置部分：把 LLM 反向工程到行为可以追溯到它在训练中的源头；用他的说法，希望把训练模型这件事从魔法变成精密工程。
探针这条技术路线上尚未解决的问题，按 Google DeepMind 论文的表述，是换到生产环境的分布之后能否保住表现。