AREX Viewpoint Article
‘We may release models we can’t control’: Amodei, Altman … and Gemini Carbon
导读
10月28日，Google 发布新一代前沿模型 Gemini 4 Carbon。按 Google 官方博客，它的定价沿用 Argon 的上市优惠价——每百万输入 token 2 美元、每百万输出 token 10 美元；路透社同日确认了这一发布时间与价格。Mashable 指出，这距离 Gemini 4 Argon 登陆 Gemini 应用仅两周；The Verge 则称 Carbon 在编程、智能体任务和网络安全上都有“显著提升”。对一个一度被认为已跌出前沿第一梯队的公司而言，这次出手分量不轻。
这恰好切中本期视频的问题意识。视频回顾称，SemiAnalysis 此前曾断言 DeepMind“不再是前沿实验室”，Google 重回最先进水平的机会“已降至零”；而 Carbon 发布后，这一判断被公开收回，Dylan Patel 甚至向 Google 道歉。于是一次普通的产品发布，变成了对“AI 竞赛格局是否已经固化”这一判断的当场检验——这也是视频把它放在压轴的原因。
更即时的证据出现在11月2日。据 X 上多位转述 SemiAnalysis 结果的用户，SemiAnalysis 推出了名为 GDPx 的智能体基准，用206个真实工作任务覆盖11个专业领域：Claude Opus 5.5 以12%居首，Gemini 4 Carbon 以10.9%紧随其后，GPT-6 Astra 为9.6%。同一批帖子还给出了成本：Carbon 完成每个任务约16美元，远低于 Opus 的51美元。这意味着 Carbon 以大致三分之一的成本逼近榜首，也说明即便最强模型，在这类真实任务上仍只拿到一成左右的分数。
榜单还牵出了安全问题。有用户转述 SemiAnalysis 的说法称，Opus 5.5 和 GPT-6 Astra 的分数被各自的安全分类器压低——它们在网络安全、生物和“对齐”相关任务上拒绝执行。若这一说法属实，那么能力榜在某种程度上衡量的已不只是模型有多强，还有安全机制拦下了多少。这与视频反复强调的能力与安全此消彼长，恰好接上了线。
这正是本期视频的增量所在：它没有停在发布本身，而是追问数字背后的含义。视频提出，模型能力正变得极度不均衡、峰值越来越高——如果它在最佳状态下能触碰千禧年大奖级别的难题，那么偶尔数不清一个单词里的字母是否还算关键？这一视角帮助解释了为何实验室愿意发布自己无法完全验证行为的模型。视频还逐条拆解了 Amodei 为放弃旧版负责任扩展政策的辩护，并引述 Altman 承认沙箱与监控终将失效、最终只能依赖对模型对齐的信念。
把这些放在一起，Carbon 的意义就不只是一次跑分。它证明领先地位并未固化，也提醒读者：竞争压力恰恰是安全承诺不断退让的推力。视频提供的不是又一份排行榜，而是一套读法——看榜单时要问成本与安全拦下了什么，看安全声明时要问它相对旧承诺退了多少。当下一次“无法控制”的模型被发布时，这套读法或许比任何一个百分数都更有用。
核心结论
- AI实验室内部预期与公众认知之间存在巨大鸿沟，且实验室员工对自身被替代程度的判断自相矛盾：Anthropic员工调查显示91%的人认为AI将在2030年前实现诺贝尔奖级发现，但同一批员工却认为AI只能完成其75%的工作。这种“能拿诺奖，但不能做我的工作”的矛盾，说明即使是最接近技术前沿的人也无法准确评估自动化对自身角色的冲击，也构成了理解AI安全讨论中认知偏差的关键证据。
- Anthropic正在从绝对安全承诺转向相对安全策略，甚至承认可能发布无法验证行为的模型：Amodei为放弃旧版负责任扩展政策辩护，称旧政策成本过高且不切实际，而IPO文件明确承认在无法充分验证模型行为时仍可能发布模型。这标志着AI安全承诺的实质性退让，也揭示了安全承诺与商业竞争压力之间的直接冲突。
- Sam Altman承认安全沙箱和可监控性终将失效，唯一可靠的防线是模型对齐本身：Altman明确表示，随着模型智能提升，沙箱隔离和监控手段都会失效，最终只能依赖模型真正对齐人类意图并重视人类对未来的控制权。这意味着OpenAI的安全策略建立在一种近乎信仰的假设之上，而非可验证的技术控制。
- Anthropic在安全叙事上存在双重标准：对外强调滥用风险与失控风险同等重要，但内部核心文件显示失控风险才是根本威胁：Amodei对外宣称滥用风险和失控风险同等重要，但Anthropic的核心安全观点文件明确区分了乐观情景和悲观情景，并将无法控制超智能系统描述为必须避免的根本威胁。这种内外表述的落差削弱了其安全承诺的可信度，也暴露了安全沟通中的策略性模糊。
- Google Gemini 4 Carbon的发布打破了DeepMind已掉队的判断，证明AI竞争格局远未固化：SemiAnalysis曾断言Google追上前沿的概率为零，但Gemini 4 Carbon在多项基准测试中表现优异且成本仅为竞品的三分之一，迫使Dylan Patel公开道歉。这说明AI竞赛的领先地位仍然高度动态，任何关于格局固化的判断都为时过早。
观点拆解
1. AI实验室内部预期与公众认知之间存在巨大鸿沟，且实验室员工对自身被替代程度的判断自相矛盾
-
AI实验室内部对技术能力的预期远超公众认知，形成显著的“预期鸿沟”：Anthropic员工调查显示，91%的人认为AI将在2030年前实现诺贝尔奖级发现，而美国成年人中只有少数持同样看法。这一差距说明，最接近技术前沿的人对AI能力的时间表判断远比公众激进，也构成了本期视频反复讨论的“AI预期差距”主题的核心证据。
“美国成年人中只有少数认为AI将在2030年前实现诺贝尔奖级发现，这与91%的Anthropic员工形成鲜明对比。”
-
同一批员工对AI替代自身工作的判断自相矛盾，暴露了自动化冲击认知的盲区：尽管Anthropic员工认为AI能在2030年前做出诺贝尔奖级发现，他们却认为AI只能完成自己75%的工作。这种“能拿诺奖，但不能做我的工作”的矛盾表明，即使是最了解技术的人，也难以准确评估自动化对自身角色的冲击。
“尽管AI将能实现诺贝尔奖级发现，这些员工自己却认为它只能完成75%的自身工作。赢得诺贝尔奖，当然可以，但不能做我的工作。”
-
员工对AI训练中人类角色的保留态度，与完全递归自我改进的预期形成张力：Anthropic员工平均认为95%的前沿模型训练工作将由AI完成，但仍为人类保留少量角色。与此同时，有人将完全递归自我改进的时间表提前到2027年。这种张力说明，实验室内部对“AI能否完全取代人类”的判断并不一致，可能反映了对自身价值的心理保护，而非纯粹的技术评估。
“Anthropic员工平均认为95%的前沿模型训练工作将由AI自己完成，但在第90百分位的受访者中，仍有一小部分工作由人类完成。”
“他说他认为完全递归自我改进，即模型自我改进，将在2027年成为可能。这是对他此前指向2028年的观点的更新。”
2. Anthropic正在从绝对安全承诺转向相对安全策略，甚至承认可能发布无法验证行为的模型
-
Anthropic用“旧政策成本过高且不切实际”为放弃绝对安全承诺辩护：Amodei为Anthropic放弃旧版负责任扩展政策给出的理由是，旧政策要求大量验证工作，但这些工作在回顾时并不重要，而且没有覆盖最关键的风险。这意味着Anthropic不再把“绝对验证模型能力”作为发布前的硬性门槛，而是转向更灵活、更相对的风险管理框架。
“旧政策提供了某些绝对的承诺来验证模型能力。新政策则提供了更相对的承诺。”
“维持绝对风险水平在低位与旧的负责任扩展政策不相容，我们已经放弃了根据需要推迟人工智能开发和部署以实现风险缓解目标的想法。”
-
Anthropic承认旧安全承诺可能严重损害公司竞争力，因此选择单方面放缓并不现实：Holden Karnofsky的表述显示，Anthropic之所以放弃更严格的安全政策，部分原因是担心单方面暂停或放缓会让公司在AI竞赛中处于不利地位，而公共收益却难以观察。这揭示了安全承诺与商业竞争压力之间的直接冲突，也说明Anthropic的安全立场正在向“不能落后于前沿”的现实逻辑妥协。
“如果我们能确定AI系统的其余部分会采取类似行动，我们可能会有不同的政策。我们之前的承诺可能对公司极为有害，我们的负责任扩展政策将要求单方面暂停或放缓，而可观察的公共收益却微乎其微。”
-
Anthropic在IPO文件中明确承认可能发布无法充分验证行为的模型：最关键的证据来自Anthropic的IPO文件：随着模型变得更难监控和解释，公司可能仍然选择发布那些无法充分验证行为的模型。这标志着Anthropic从“先验证再发布”的安全承诺，实质性地退让为“即使无法验证也可能发布”，并且公司自己承认这可能对业务产生负面影响。
“如果我们随着模型的进步而变得更难以检测或评估不一致性，我们可能会发布那些我们无法充分验证其行为的模型。顺便说一句，这可能对我们的业务产生负面影响。”
3. Anthropic在安全叙事上存在双重标准：对外强调滥用风险与失控风险同等重要，但内部核心文件显示失控风险才是根本威胁
-
Amodei对外宣称滥用风险与失控风险同等重要，但Anthropic核心文件将两者置于完全不同的风险等级：Amodei在回应加速AI的质疑时，强调Anthropic一直将滥用风险和失控风险视为同等重要，并引导外界关注滥用问题而非加速本身。然而，Anthropic的核心安全观点文件明确区分了乐观情景和悲观情景：在乐观情景中，人类滥用是主要问题，且Anthropic的灾难性安全失败风险较低；在悲观情景中，无法控制超智能系统才是根本威胁。这种内外表述的落差揭示了Anthropic在安全沟通中的策略性模糊。
“我们一直说这两件事同等重要。”
“在乐观情景中，AI的主要风险之一是毒性和蓄意滥用等问题。人类滥用是乐观情景中的主要问题。”
-
Anthropic内部文件显示，失控风险才是真正的高风险场景，滥用风险在乐观情景下被明确降级：Anthropic的核心安全观点文件在乐观情景的脚注中承认，如果人类滥用是主要问题，那么Anthropic自身行动带来的风险会低得多，因为灾难性安全失败本来就不太可能发生。相比之下，悲观情景将无法控制比人类更聪明的系统描述为必须避免开发和部署的根本威胁。这种对比表明，Anthropic内部实际上将失控风险置于远高于滥用风险的位置，与其对外宣称的“同等重要”并不一致。
“在那个乐观情景中，幸运的是，Anthropic所做任何事情的风险都要低得多，因为灾难性安全失败无论如何都不太可能发生。”
“在悲观情景中，一个经验事实是，我们无法控制一个在广泛领域比我们更聪明的系统，也无法将我们的价值观强加于它。简单说，我们不应该开发或部署过于先进的AI系统。”
-
Anthropic内部人员对失控风险的判断进一步印证了滥用与失控并非同等重要：Anthropic联合创始人Jack Clark在讨论中明确指出，当前系统的风险相对可控，真正的核心风险在于面对比最聪明人类还要聪明百倍的系统时，安全应对的可能性极低。这一表述将失控风险置于绝对优先地位，与Amodei对外宣称的“滥用与失控同等重要”形成鲜明反差，进一步削弱了Anthropic安全叙事的内部一致性。
“核心风险是，你有多大机会应对一个比地球上最聪明的人还要聪明一百倍的系统的风险？我认为你应对它并安全脱身的几率非常低。”
4. Sam Altman承认安全沙箱和可监控性终将失效，唯一可靠的防线是模型对齐本身
-
沙箱隔离只是临时防线，模型变聪明后就会失效：Altman承认，当前依赖沙箱环境来隔离AI系统并据此提供安全保证的做法，只在模型智能水平有限的阶段有效。一旦模型聪明到能够理解沙箱的含义，这种隔离手段就会失去作用，安全策略必须另寻出路。
“我认为在一段时间内，我们可以把这些系统隔离在沙箱中，并且可以基于那个环境提供一些安全保证。当那失效时，因为模型变得太聪明以至于它们无法理解沙箱的含义，我认为那时我们会有一个能撑一段时间的漏洞。”
-
监控手段也只能延长安全窗口，无法成为最终防线：Altman指出，监控技术——包括查看思维链和激活监控——虽然比沙箱隔离更持久，但同样只能争取时间。这些手段可以帮助检测模型是否在欺骗人类，但无法从根本上解决模型是否真正对齐的问题。
“然后我认为监控能撑得更久一些，我们可以查看模型在做什么，不仅是它们的思维链，还可以做激活监控，试图理解模型是否真的在欺骗我们。”
-
最终安全只能依赖对模型对齐的信念，而非技术控制：Altman的最终判断是，当沙箱和监控都失效后，唯一能依靠的是对模型对齐的信念——相信模型真正重视并诚实地遵循操作者的意图，并且永远重视人类对未来的控制权。这意味着OpenAI的安全策略最终建立在一种近乎信仰的假设之上。
“最终，我认为你需要以极大的信心相信模型是真正对齐的，它们会重视并真诚地尝试遵循操作者的实际意图，并且它们会永远重视人类对未来的控制。”
5. 大语言模型的本质决定了人类无法完全理解其内部规则，可解释性的追求在根本上存在局限
-
大语言模型与计算器有本质区别：它自行推导出人类原本不知道的规则：计算器虽然能完成人类无法手动执行的运算，但其规则是人类预先编程的、可理解的；而大语言模型通过机器学习捕捉了超出人类编程范围的模式，这意味着它掌握了一部分人类原本就不知道的规则。这一区别是理解AI可解释性困境的起点。
“但有了机器学习模型，我们上升到了一个更高的认知层次。我们发明了能够吸收连我们自己都不知道的规则的模型。”
“从定义上说，这样的模型不可能被完全编程，否则它就无法捕捉超出人类编程范围的模式。”
-
语言模型的规则数量近乎无限，人类既无法理解工具本身，也无法完全理解其输出：象棋的规则有限而输出复杂，人类至少能理解规则；但语言模型通过数十亿次预测自行推导出的规则本身几乎就是无限的。因此，人类面对的不仅是输出复杂性的问题，更是连模型遵循了多少规则都无法把握的根本性认知限制。
“在语言模型中，模型通过数十亿次预测下一个有用token而为自己推导出的规则，本身几乎是无限的。”
“我们甚至无法感知为了做到这一点而遵循的规则数量。人类注入数据燃料并提供模型运行的硬件，但之后只能目睹随之而来的组合爆炸。”
-
用AI解释AI只会无限递归，人类最终仍无法触及真正的底层规则：即使让另一个机器学习模型来解释大语言模型的规则，解释者本身也是一个模型，其解释所依据的规则同样不透明。即便构建层层嵌套的解释模型系统，人类最终依然无法理解真正的基础规则，可解释性追求在结构上存在无法消除的局限。
“唯一能够推断大语言模型所遵循规则的规则发现者，是另一个机器学习模型。”
“即使我们有一个递归的模型系统来解释导致语言模型输出的规则，再由其他模型解释导致那些解释的规则，人类最终也无法理解真正的基础规则。”
6. 模型能力的极端不均衡正在改变人们对AI缺陷的容忍度，峰值能力的重要性正在超越平均表现
-
峰值能力正在取代平均表现，成为评估AI模型的核心标准：当模型在最佳状态下能够解决千禧年大奖难题级别的复杂问题时，偶尔无法数字母这类低级缺陷在评估中的权重显著下降。这意味着AI能力的极端不均衡正在改变人们对模型缺陷的容忍逻辑：峰值表现的重要性开始超越日常平均表现。
“但在某些方面，峰值已经变得如此之高，以至于低谷部分不再那么重要了。如果它在最佳状态下能解决千禧年大奖难题，那么它有时无法数出一个单词里的字母，真的还重要吗？”
-
能力分布的不均衡解释了实验室为何愿意发布无法完全验证行为的模型：这种峰值与低谷之间的巨大落差，为理解AI实验室的发布决策提供了背景框架：当模型在关键任务上展现出压倒性优势时，实验室可能倾向于接受那些无法完全验证的行为缺陷，因为峰值能力带来的价值被认为超过了不确定性和风险。
“这帮助我理解为什么Anthropic几乎已经屈服于发布他们无法验证其行为的模型。”
“还是说，原因可能在于一种由AI设计的、值得诺贝尔奖的新架构，尽管它怪异、有缺陷且不均衡，却仍然远远超越了Anthropic员工自己能够设计出的东西？”
7. Google Gemini 4 Carbon的发布打破了DeepMind已掉队的判断，证明AI竞争格局远未固化
-
Gemini 4 Carbon以实测表现证明Google DeepMind仍在前沿竞争行列：视频指出，Gemini 4 Carbon在通用基准测试中至少能与前沿模型竞争，在终端基准科学和智能体考试等特定指标上甚至从落后位置跃居前列。这说明此前关于DeepMind已退出前沿竞争的说法与模型实际表现不符。
“但根据这些通用基准，它至少在前沿竞争。即使在我特别关注的指标上，比如Terminal Bench Science 0.1或计算机使用测试Agents Last Exam，它也从落后于Opus和Astra变成了领先。”
-
SemiAnalysis此前断言Google追上前沿的概率为零，被Gemini 4 Carbon直接推翻：视频回顾了SemiAnalysis在八月做出的判断，即DeepMind不再是前沿实验室、Google追上前沿的概率降至零。Gemini 4 Carbon发布后的表现证明这一判断明显错误，显示AI竞争格局并未固化。
“我们相信DeepMind已不再是前沿实验室。Google将继续挣扎并发布模型，但他们重新达到最先进技术的机会已降至零。”
“但说他们的机会已降至零，显然是个错误。”
-
Gemini 4 Carbon以三分之一的成本达到接近顶尖的性能，迫使SemiAnalysis公开道歉：在SemiAnalysis自己发布的GDPX基准中，Gemini 4 Carbon排名第二，仅次于Opus 5.5，而成本仅为Astra或Opus 5.5的三分之一。这一性价比优势促使Dylan Patel正式向Google道歉，承认Carbon确实出色。
“甚至SemiAnalysis自己发布了一个名为GDPX的基准，涉及专业领域的智能体能力，正如你可能注意到的，Gemini 4 Carbon排名第二，仅次于Opus 5.5。哦，而且它的成本只有Astra或Opus 5.5的三分之一。”
“这促使SemiAnalysis的Dylan Patel表示：“我向Google正式道歉。他们在Carbon上确实做得很好。它在范围和能力上更加不均衡，但在少数领域非常出色。””
总结
AI安全正在经历一场静默的范式转换：从可验证的技术控制，退向不可验证的信念依赖。Anthropic用“成本过高”为放弃绝对安全承诺辩护，Altman则承认沙箱和监控终将失效，唯一能依靠的是对模型对齐的信仰。当实验室自己都无法确定模型行为时，公众却被要求接受“无法验证也可能发布”的逻辑。与此同时，Gemini 4 Carbon的崛起提醒我们，竞争压力正是推动这种安全退让的深层动力。真正需要传播的不是某个实验室的承诺，而是这个行业正在用信念替代验证的结构性风险。
信息源
视频来源
- ‘We may release models we can’t control’: Amodei, Altman … and Gemini Carbon：
外部资料
- Gemini 4 Carbon: our next frontier model：
- Google launches Gemini 4 Carbon AI model with ...：
- Google announces Gemini 4 Carbon, its new frontier AI ...：
- Google launches Gemini 4 Carbon with a 'significant leap ...：
- Sima Baynaqi：
- Joaquin Milla：
- Midas Touch AI：