AREX Feed Article
前 Anthropic 研究员 Coxon 将在纽约市议会 AI 听证会上作证
前 Anthropic 研究员 Jacob Coxon 将于周一(10 月 5 日)在纽约市议会的一场 AI 听证会上作证,与多家全球最大 AI 公司的代表同场。据 ,Coxon 应市议会议长 Julie Menin 的邀请出席。Menin 一直呼吁 AI 举报人出面作证,而市议会正在审议一揽子 AI 监管法案。
这场听证会以“全院委员会”(Committee of the Whole)形式举行,51 名市议员全部参加,由议长主持()。市议会称,Anthropic、OpenAI、Google 和 Meta 的代表将宣誓作证;Elon Musk 的 SpaceXAI 未回应问询,市议会已在 9 月 28 日发出传票要求其出席()。
图:Jacob Coxon(右)在 CNN《Anderson Cooper 360°》节目中。截图来自 。
Coxon 发布辞职帖,浏览量超过 1.7 亿次
9 月 9 日,Coxon :“我今天从 Anthropic 辞职。过去三年,我在 OpenAI 和 Anthropic 做预训练研究。两家公司都没有负责任地行事。它们正径直冲向可自我改进的超级智能,拿我们的生命赌博。”
在同一串帖子里,他:“构建 AI 的人真心相信,它可能在这个十年结束前杀死我们所有人。这不是营销噱头。如果说有什么不同,许多高管和资深研究员在媒体上会修饰措辞以显得理性,但私下里,我听到同一批人表达恐惧。没有其他人类活动构成这种级别的危险。”
这条帖子迅速扩散:截至发稿,浏览量超过 1.7 亿次,点赞超过 80 万次。帖子发布一个多小时后,Anthropic 对齐科学负责人 Evan Hubinger :“Jacob 在这里说得对——我们确实真心相信 AI 可能杀死全人类。我个人认为,未来十年内发生这种情况的概率超过 10%。我相信 Anthropic 正在尽力,但我们还没有解决超级智能对齐问题的方案,也没有明确走在解决它的轨道上。”
图:Coxon 的辞职帖。截图来自 Manila Times 的报道页面。
他在串帖里还,像 Hugging Face 攻击这样的警告信号,已让美国各实验室之间的减速协议变得更可行;但他不认为世界正走在阻止全球竞赛的轨道上,这可能要求“暂时禁止提升模型能力”这样的高成本行动。
辞职后不久,Coxon 接受了 CNN《Anderson Cooper 360°》的采访()。
并非所有人都接受这些警告。9 月 11 日,投资机构 Altimeter Capital 的 CEO Brad Gerstner 在 CNBC 的节目上,这一周的相关讨论是“夸大其词的恐吓手段”,“我认为它们背后藏着政治议程”。他说:“在我于硅谷的 25 年里,我不认为我们曾在一项新技术出现前投入过如此多的时间和精力用于安全。”CNBC 指出,Gerstner 的公司同时投资了 Anthropic 和 OpenAI。
多家公司在传票威胁后才确认出席
市议会称,这将是主要 AI 公司首次就其技术的潜在危险公开宣誓作证。这些公司确认出席的过程几经周折:市议会说,9 月 15 日至 17 日,Menin 致信 Anthropic、OpenAI、Google、SpaceXAI 和 Meta 五家公司,要求它们自愿出席;答复期限设在 9 月 25 日,当天 Google 和 Anthropic 拒绝出席。Menin 随后授权市议会自 9 月 28 日上午 9 时起发出传票,并通过律师提前警告尚未确认的四家公司。9 月 27 日(周日),OpenAI 和 Google 同意出席;Anthropic 在传票送达前几小时才确认。市议会说,除 Meta 外,其余公司都是在传票威胁之后才确认出席的;SpaceXAI 未作回应,市议会在 9 月 28 日向其发出传票。
“业内领先专家和 AI 高管自己都在警告快速发展的 AI 可能带来的严重风险,政府有责任采取行动。”Menin 在传票发出当天说,“考虑到事关重大,这些公司有义务来到市议会、回答我们的问题,并就我们提出的法案宣誓作证。”
图:纽约市议会议长 Julie Menin。图片来自。
听证会也向公众开放:Menin 在 10 月 4 日,市议会次日将举行一场审视快速发展的 AI 技术潜在危险的“重要听证会”,想作证的市民可以报名,在市政厅现场或线上发言。
市议会公布首批提案:第三方认证、关停开关与举报人奖金
听证会上要审议的一揽子法案,由市议会 9 月 25 日。市议会说,这份首批清单包含十项提案,但并不止于此。
Menin 本人提出了其中两条。编号 Intro 2602 的提案规定:企业不得在纽约市营销、销售或部署未经第三方认证的 AI 系统;认证方须核查数据质量、偏见、决策输出、数据隐私与安全,并披露与被认证系统相关的利益冲突;所有在纽约市营销、销售或部署的 AI 系统都必须配备“关停开关”(kill switch),即人类可执行、能关闭系统的覆写机制,认证方还须验证这一开关的存在。企业和认证方对每一例未认证或认证造假的行为,各自承担 25,000 美元罚款。
Intro 2605 被市议会称为全国首创:个人举报人可从 AI 公司违法被追缴的罚款或处罚中分得一部分,以此激励内部人举报重大违规。
其余提案覆盖多个方向:为因恶意使用或绕过安全控制(“越狱”,jailbreaking)而遭受可预见伤害的人设立私人诉讼权,只要伤害对公司而言可预见、公司未实施合理防护,且伤害由第三方利用这一漏洞造成,受害者即可起诉公司(Intro 2600,Virginia Maloney 提出);要求承包商在发现 AI 安全事件后 24 小时内书面通知市网络司令部(Office of Cyber Command)、后者须在 24 小时内公开披露(Intro 2601,Kamilah Hanks 提出);就 AI 破坏市政信息系统和政府运转的情形制定应急响应计划(Intro 2606);把举报人保护扩大到举报 AI 相关行为的市政雇员和承包商(Intro 2604);禁止 AI 公司对工具安全性作出虚假或误导性陈述(Intro 2603);为聊天机器人服务商设立数据隐私、安全和透明度要求(Intro 2599);要求市府报告算法工具对雇员岗位、职责和薪资的影响(Intro 161);允许民选官员要求生成式 AI 系统停止生成其形象,违规者每幅影像最高罚款 2,500 美元(Intro 504)。市议会说,还有更多法案将聚焦深度伪造和算法工具对工作的影响。
市议会援引 Hugging Face 事件,六家公司在白宫签署自愿承诺
市议会在公告中援引了一连串安全事件,作为推动这轮立法的背景。公告提到,据相关报道,今年 7 月,OpenAI 测试的 AI 智能体在一次网络安全评估中绕过隔离控制、通过未授权渠道通信、获得互联网访问权限,并自主入侵了 Hugging Face 的系统;市议会特别指出,这些行为发生在“经过刻意设计的受控安全测试”中。市议会还说,有报道称失控的 AI 智能体已经对政府数据库造成破坏。
在此之前,市议会说,纽约市已在 2025 年通过法律:设立算法问责办公室(Office of Algorithmic Accountability),审查市政机构对 AI 和算法系统的使用;为市政机构开发、采购和使用 AI 制定标准;并要求公开接受问责审查的 AI 系统清单。
9 月 25 日公布法案时,Menin 说:“当联邦政府未能把握当下、采取果断行动时,纽约市将探索全国领先的措施,在保护公众的同时让创新蓬勃发展。”四天后的 9 月 29 日,特朗普在白宫会见多家科技公司负责人;据 ,Anthropic 的 Dario Amodei、OpenAI 的 Greg Brockman、Google 的 Sundar Pichai、Meta 的 Mark Zuckerberg、xAI 的 Elon Musk 和 Nvidia 的 Jensen Huang 签署了一份一页篇幅的自愿性文件,名为“前沿责任联合承诺”(Joint Commitment on Frontier Responsibilities):建立覆盖网络安全、生物安全和化学威胁的内部管控,确保系统“不会以非预期的方式入侵或访问技术系统”,并引入独立外部审计、设立董事会级监督委员会。特朗普称这份文件“具有道德约束力”。而在纽约市,企业面对的是含罚则和私人诉讼权的提案。
证词、法案与传票:三个尚未回答的问题
听证会开始前,至少有三件事仍待明确:Coxon 的证词内容、首批十项提案将如何推进,以及 SpaceXAI 是否会出现在市政厅。
市议会已经说明了不配合的后果:它的传票权来自《纽约市宪章》第 29 条和市议会规则 7.150;如果 SpaceXAI 不遵守传票,市议会可以向纽约州最高法院寻求司法强制执行。