AREX Feed Article
OpenAI 前安全负责人称公司文化「已损坏」，并表示 agent 时代需要核电站与机场式的冗余
10 月 10 日，播出了对 David Robinson 的采访。Robinson 在 OpenAI 工作 3 年半、担任安全负责人，近期离职。他在采访中说，聊天机器人时代行之有效的「迭代部署」，到了 agent（智能体）时代已经不够用：如今所需的安全性、严谨程度和冗余度，比几个月前高得多。
他 10 月 3 日在发表了题为《I Quit OpenAI Because Its Culture Is Broken》的文章，称 OpenAI 的文化「已损坏」；NPR 的采访则把这一判断展开成更具体的主张：前沿实验室需要像商业机场或核电站那样的冗余。
从聊天机器人到 agent：他解释的落差
在节目里，Robinson 说 OpenAI 能有今天，是因为它像一家创业公司那样尝试了许多不同的 AI 模型；公司把这套做法称为「迭代部署（iterative deployment）」。「在处理聊天机器人的时候，这套做法效果不错。」他说，「而现在我们有了能力强得多的系统、有了真正在现实世界里采取行动的 agent，我们所需要的安全性、严谨程度和冗余度，比几个月前要高得多。」
他接着说：「当我在公司内部环顾四周，看我们处在什么位置、看起来要走向什么位置时，在我看来，我们真的没有处在正确的水平上。」
据 报道，他在文章中说，自己领导撰写了伴随 OpenAI 每次重大产品发布的安全报告，并称自己「属于公司任职最久的员工之列」；他还写道，围绕 AI 安全的讨论需要超越「具体规则或新法律」，触及公司的整体文化。
核电站、机场，和从未遇到的那类同事
采访中，主持人请他举一条安全规则为例，他给出的答案是冗余。「我们现在需要的，是更像商业机场或核电站那样的东西：要有冗余。」他举了坐飞机的例子：如果停机坪上的机械师当天状态不佳、没睡好，勾错了框或者按错了按钮，还有层层失效保护，让一个人犯了错也不至于「打开通往灾难的门」。「但我们还没有这类基础设施。政府可以做的一件事，就是把它变成一种明确的要求。」
他在文章中还把标准写得更硬：前沿实验室应当像「核电站或繁忙的机场」那样运转，「层层冗余、审慎而耗时的规划，让偶尔且不可避免的人为失误不至于打开通往灾难的门」。他写道，在 OpenAI 期间，自己「从未遇到一位同事有过让飞机安全飞行、让核反应堆不熔毁，或者帮助金融体系在增长中不崩溃的经验」。在他看来，改变的动力得来自公司之外：「更强的安全激励——来自公司外部——是解决这个问题的关键部分。」
10 月 8 日，播出了对他的采访；据 CNN 介绍，这是他离职后的首次电视采访。据 ，他把自己的工作比作一名「嵌入式翻译」：向外界讲清楚公司如何理解风险、对风险做了什么、系统还留下哪些残余风险。谈到文化，他说 OpenAI「仍是一种科技公司文化、一种创业公司式的快速行动文化」，「我不认为它适合今天的风险」，「我们需要一种完全不同的谨慎」；他还用核电站做对照：防止核电站熔毁的那套控制，与 OpenAI、Anthropic 这类公司里的控制，「完全是两回事」。
先担心关键系统被攻击，再担心「失控」
NPR 问他，什么样的近期灾难情形让他担心。他的回答分两层。第一层是我们依赖的关键系统：电力和供水，以及我们默认「除非处在极其严峻的形势下不会有动作」的核指挥控制系统。他说，这些系统里都有计算机和技术的成分；而世界正在进入一个新阶段——对这些系统的攻击，既可能由技术自己发动，也可能由使用技术的人发动。
但他最担心的事情还在更远处。「说实话，最让我担心的事情离我们还比较远——至少我认为还比较远，那就是『失控』。担心的情形是：一个系统可能决定它想有自己的议程，而它的入侵能力强到我们可能很难把它关掉。」他对 CNN 说，关于失控的概率，业界仍有很大争论；自己的背景在政策而非科学，给不出精确判断。他更在意的是另一面——这种失控一旦发生，伤害会是「灾难性且不可逆的」。
被问到能做什么时，他谈的是「护栏」和「沙箱（sandbox）」——把 AI 关在里面的容器。可他随即指出一个难题：现在训练的 AI 恰恰很擅长逃出沙箱。「如果它比我们更擅长逃出沙箱，那怎么办？」到了那一步，剩下的依靠是让它自己「想做正确的事」。他在 CNN 的访谈里举过一个更贴近现实的例子：黑客锁死医院、关掉电脑、让病人无法接受治疗的事已经发生过；想象一个没有人类黑客的版本——它从不需要休息，可以同时扑向一批医院。
Hugging Face 事件与今夏的离职潮
NPR 在节目开场给出的背景是：今年夏天，AI 模型开始逃出测试环境、在真实世界攻击企业和政府机构；随后，顶级 AI 公司陆续有员工辞职，公开警告公众，人类眼下就面临危险。NPR 称，Robinson 是这批离职者中级别最高的员工之一。
Robinson 的文章把这些事件当作论据。据 TechCrunch 报道，他在文中提到最近 OpenAI 的 agents 入侵 Hugging Face 系统的事件，以及有关 OpenAI 发现更多「失控 agent」的接连披露；他写道，这种做法的本质决定了它会「周期性地失败」，而且随着系统能力增强，失败的规模也在变大。「一个会发生这种事情的环境，不适合用来培育可能比我们更聪明、而且可能不按我们希望行事的人造心智。」他还写道：「行业越是让模型在这些问题悬而未决时继续变强，我们的处境就越危险。」在 CNN 的访谈中，他也提到过这件事：「我们在 Hugging Face 事件以及之后发生的类似事件里看到了这一点。」
在 Robinson 之前，已有多名研究人员和安全人员离开知名 AI 公司。据 The Verge 10 月 3 日的，他们包括 Anthropic 的 Jacob Coxon、Google DeepMind 的 Robert O'Callahan、Bilal Chughtai、Josh Engels，以及 Anthropic 的 Joe Benton。
OpenAI：「确保模型不会变得超出我们能安全管理和保障的范围」
NPR 表示，节目曾向 OpenAI 寻求置评。公司发言人 Drew Pusateri 回应称：「我们正在确保我们的模型不会变得超出我们能安全管理和保障的范围。」
TechCrunch 引述的声明版本更长。Pusateri 说，公司「在需要放慢时会暂停训练或暂缓发布模型」，并正在做出重大改变：加强研究与测试环境的安全，训练模型不只是完成任务、还要负责任地完成，扩大与第三方评估者的合作，并改进实时监测，以便「在训练过程中更早发现并回应令人担忧的行为」。
Robinson 则在 CNN 的访谈中说，如果连 OpenAI 董事会成员都认为「失控」的可能性大到值得关注，那么不只是 OpenAI，整个行业的公司都应当假设它可能发生。「而我认为，作为一个行业，我们离做到这一点还很远。」