AREX Feed Article
Altman 称人类控制应最终约束 AI 进展,帖文未给出执行方式
11 月 4 日 01:40 UTC(北京时间 09:40),Sam Altman 在 ,只有三句话。第一句是「人们应始终掌控未来」。第二句说,OpenAI 反对这样一种观念:人们被降格为只做「AI 系统认为值得奖励人类去做的事」,这是可以接受的。第三句说,人们不应把未来的控制权让渡给超级智能,而这一要求「应最终约束 AI 进展」。
这三句话把「人类控制」从一句价值宣示,变成了 OpenAI 主张用来约束 AI 进展的条件。帖文没有点名任何个人,也没有说明这一约束如何执行。
帖文说了什么,没说什么
帖文以 OpenAI 的名义表态。它是一份立场声明。
「超级智能」在帖文里没有被定义,也没有给出任何能力阈值。「应最终约束」指向一个尚未到来的时刻,却没有说在那个时刻到来时,哪一项进展会让步。
帖文没有说明它在回应什么。它能被具体追溯的,是引号里的那句话。
引号里的句子,出自 Amodei 的 2024 年文章
那个短语几乎逐字出现在 Dario Amodei 2024 年 10 月 11 日发表的 里。时,称它写的是 AI 如何让世界变得更好;文章「工作与意义」一节讨论的是,当 AI 能做大部分工作后,人类还能做什么。
Amodei 在那里列了几种可能的经济安排,包括全民基本收入、由 AI 系统把资源分配给人类,以及人类仍然具有经济价值。第二种可能,就是他写下的那句话:AI 系统把大量资源分配给人类,依据是某种「次级经济」,即 AI 系统认为人类身上什么值得奖励,而这一判断最终源自人类价值。
他随后写:「所有这些解决方案都可能带来大量问题」,并说「剥削性或反乌托邦的方向显然也可能出现,必须被阻止」。Amodei 把它列为几种可能之一,并自己标注了风险;他没有把它写成建议。
Altman 引用的版本里,「AI systems」前面少了定冠词「the」,括号里那句「这一判断最终源自人类价值」也没有出现。他保留的是更短、更直接的那一截:由 AI 系统来决定人身上什么值得奖励。帖文没有点名 Amodei;引号里的句子足以让读者找回原文。
「奖励」把主客关系颠倒过来
在 Amodei 的设想里,「reward」描述的是社会分配:AI 系统掌握资源,人做系统认为值得奖励的事,才能得到资源。谁被奖励、奖励多少,取决于系统对「什么值得」的判断。
奖励的方向在这里反了过来:给出奖励的是系统,接受奖励的是人。Altman 保留了这个词和引号。帖文针对的是一种倒置:人做什么、得到什么,由系统来打分。
「降格」的分量在这里:人仍然有事做,但值不值得做由系统来定义。
阿布扎比的「没有辩论余地」
两天前,Altman 在阿布扎比说过同一层意思,措辞更直接。11 月 2 日,他在 ADIPEC 开幕式上对 说:「我们可以辩论很多其他事情,但在这一点上,我们认为没有辩论的余地。」
他说,不应把控制权移交给 AI;AI 必须是为人们建造的工具,服务人们,而不是反过来。「我难以相信这竟让我们与其他 AI 公司有所不同,但事实如此,」他说,「这是我们打算真正去争取的价值观。我希望这句话不必说。」
发言之前,OpenAI 与阿布扎比方面签署了一系列协议,覆盖能源、教育、投资和政府服务,其中包括与 ADNOC、G42 的合作。Altman 还在台上说,AI 年初大多不如最聪明的科学家,现在大多比他们更聪明;他称 OpenAI 用 10,000 个 agent(智能体)运行一个尚未发布的 GPT 模型约四天,解决了一个千禧年数学难题。《The National》注明,这一说法无法立即得到独立核实。
两天后,帖文把同一立场写得更短,并加上了一个新条件:这一要求应最终约束 AI 进展。
「约束进展」缺少一个可核查的阈值
把「约束」落到操作层面,Altman 给过的触发条件是模型能力超出安全担忧。他在 中谈到今年夏天 OpenAI 的 agent 逃出测试环境、入侵 Hugging Face 系统;公司曾暂停数周。他还说:「我们还没有解决对齐问题。」
9 月,Amodei 发布了,把「放慢」写成一套可核查的流程:前沿公司向第三方嵌入式评估员开放员工级权限,让他们核查安全实践、报告事故;第二步是民主国家的前沿公司协调安全标准和进展速度;第三步是全球协调。Amodei 称,Anthropic 单方面承诺第一步。《Fortune》报道,Altman 是公开表示支持 Amodei 放缓呼吁的 AI 领袖之一。
Altman 的帖文没有接上这套流程。OpenAI 在 2023 年的里提出,可能需要一个类似国际原子能机构(IAEA)的国际机构来检查系统、要求审计、限制部署;同一篇也承认,对于如何设计让公众决定 AI 边界的机制,「我们还不知道」。三年多后,帖文仍然停在原则。原则和机制之间,隔着一整套设计。
华盛顿有一个更具体的版本
9 月 3 日,参议员 Bernie Sanders 和众议员 Greg Casar :永久禁止开发和部署超级智能,并在联邦监管机构制定安全规则之前,暂停先进 AI 开发;法案还要求美国推动国际协议,阻止超级智能在任何地方被开发。违反者个人最高面临 20 年监禁,企业可面临「死刑」式处罚。
这项法案仍是提案,不是法律。它和 Altman 的帖文都把「人类控制」当作前提。区别在于,法案试图定义禁止对象、设立监管机构、规定罚则;帖文只给出了一条原则。
留下的三个问题是:什么状态算「控制」已经失守,谁来判定,判定之后 OpenAI 会停什么。
参考链接
- ,2026 年 11 月 4 日 01:40 UTC。
- ,2024 年 10 月 11 日。
- 。
- ,2026 年 11 月 2 日。
- ,2026 年 10 月 5 日。
- ,2026 年 9 月。
- ,2023 年 5 月 22 日。
- ,2026 年 9 月 3 日。