AREX Feed Article
纽约市议会举行 AI 监督听证会：Coxon 作证称按当前路径人类失去对 AI 的控制「更可能发生」，议长 Menin 提及「kill switch」
10 月 5 日（周一），纽约市议会举行了一场聚焦人工智能风险的监督听证会。据 ，这场听证会以罕见的「全院委员会」（Committee of the Whole）形式进行；据记者 ，听证持续了近 10 小时。称，纽约市表示这是全美、也是全球首个此类听证会。
作证的既有公司高管，也有已经离开实验室的研究人员。前 Anthropic 研究员 Jacob Coxon 在作证时说：「按当前路径，我认为人类失去对这些 AI 的控制更可能发生，并且可能以人类灭绝告终。」他还说，从自己的经历看，考虑到事关重大，这些公司「极其鲁莽」。
市议会议长 Julie Menin 表示，由于联邦政府称 AI 公司可以自我监管，纽约市需要自己处理这件事；她还提到，「kill switch（一键关停）」实际上也在市议会的立法中，是当天要问公司的问题之一。
51 名议员与宣誓作证的公司高管
市议会在 9 月 28 日的中宣布，这场听证会将召集全部 51 名市议员，并称这是主要 AI 公司首次就其技术的潜在危险公开宣誓作证。据 CNBC 报道，Anthropic、OpenAI、Google 和 Meta 的高级负责人当天宣誓作证：Anthropic 派出前沿红队（Frontier Red Team）负责人 Logan Graham，OpenAI 由政策制定与运营负责人 Morgan Dwyer 代表，Google 派出 AI 与新兴技术政策总监 Alice Friend，Meta 派出负责立法事务的 AI 政策总监 Shane Cahill。
与公司高管一同作证的研究者还有前 Google DeepMind 研究员 Alex Turner 和前 OpenAI 研究员 Daniel Kokotajlo。CNBC 称，这场听证会发生在一个月来围绕先进 AI 模型风险的激烈辩论之后；该报道提到，今年夏天 OpenAI 曾披露两个模型脱离控制、接入公开互联网并侵入开源开发者平台 Hugging Face，Anthropic、Google 与 Meta 随后也披露了各自的模型失控事件。
Coxon：「并不完全掌控」与「快速行动、打破东西」
据报道，Coxon 警告 AI 公司「并不完全掌控」自己的模型，并且在推进速度上过快。CBS 引述他的话说：「我们正在接近一个节点：AI 系统将有能力自我改进，去做此前由人类做的研究。」
报道称，一名上个月公开辞职的前 Anthropic 员工与前 Google、OpenAI 的员工一同出席听证会，共同警告 AI 的危险；据 CBS 和 CNBC 的报道，这名员工是 Coxon。CBS 引述他对公司文化的描述：「这些公司靠创业公司的心态运转：快速行动、打破东西，以后再修。」CNBC 还称，他说这套方法适合「照片分享应用」，却不适合「建造有史以来最强大的技术」。
Coxon 对公司的要求是：公司「需要对公众和独立专家更加透明」，「需要远比以往更认真地对待安全」，并且「应该放慢前沿 AI 的开发，直到能够确信安全」。
同场作证的前 Google DeepMind 研究员 Alex Turner 把风险指向本土。据 CNBC 报道，他在回答 Menin 关于如何在与中国技术竞赛的背景下权衡前沿模型开发的提问时说，「中国不是我们唯一潜在的对手」，「有相当高的可能性，我们正在本土竞速制造并壮大我们自己的对手，那就是未对齐（misaligned）的 AI。未对齐的 AI 是所有人的对手，包括我们自己的，有朝一日它可能比中国更强大」。
据 CBS 报道，前 OpenAI 研究员 Daniel Kokotajlo 则谈到信任：「即使他们设法维持了控制，我也不认为我们应该信任他们掌握这种控制。我认为存在非常现实的可能性：他们会利用这种控制在美国成为独裁者或寡头。」他还说，不能让自己的公司做出危及我们生命的事情，即使中国之后可能做出同样的事。
四家公司视频作证：无人能量化「灾难性」风险
四家公司的高管通过视频连线作证。据 CBS 报道，Menin 问他们能否量化风险；Meta 的 Shane Cahill 回答：「议长，在量化这个问题上，我不希望说得不精确。我目前手头没有我们的框架。」CNBC 记录了 Menin 的总结：「那么我就认为，你们四位、这里没有任何一家公司，能量化灾难性事件发生的风险。」她说这些回答「往好里说也令人不安」；CBS 报道称，现场还有一张海报，列出这些公司今年十余起 AI 安全事件。
CBS 报道说，Menin 还追问法律责任：如果你们某个前沿 AI 模型失控，「造成严重财务损失、泄露敏感数据、造成人身伤害或导致一人或多人死亡」，你们是否各自认为自己的公司负有法律责任？OpenAI 的 Morgan Dwyer 回答，OpenAI 非常认真对待安全责任，负责开发和评估系统以确保安全。Menin 追问：「那么，这是『是』还是『否』？」
Google 的 Alice Friend 则主张联邦层面的框架。据 CNBC 报道，她支持一套「全面」的联邦框架来应对 AI 风险，理由是国家安全担忧；她说：「正如我在开场陈述中所说，我们长期以来一直认为：某件事在没有 AI 时违法，有了 AI 仍然违法。」Meta 发言人在听证前发表声明说，公司正努力让个人超级智能被广泛使用、以改善人们的生活，「安全是我们一切工作的核心」，并称公司是自愿到场（）。
据 CNBC 报道，Meta 上月底就确认出席；Menin 说，Anthropic、OpenAI 和 Google 是在市议会威胁发出传票后才同意出席。CNBC 还称，唯一被点名却缺席的是马斯克旗下公司：市议会上周向 SpaceX CEO 马斯克发出传票，要求他本人或公司 AI 部门 SpaceXAI 的另一名代表出席听证会；Menin 称这是「直接违反传票」，市议会计划「在法庭上追究此事」。CBS 的报道称，Menin 表示该公司回信说愿意与市政府合作、但不会出席，市政府正在采取法律行动；CBS 把该公司称为 SpaceX，并称其没有回复置评请求。
「kill switch」与十项法案：尚未落定的部分
据 CBS 报道，Menin 在听证前说：「纽约州和加利福尼亚州都讨论过潜在的『kill switch』。这实际上也在我们的立法中。这也是我们今天要问这些公司的问题之一：一键关停会如何运作？它会有效吗？」ABC7 New York 引述她的另一段话：「认为 AI 行业会自我监管，完全说不通。我们不会要求航空业自我监管——这就是我们设立 FAA 的原因……我们也不会要求金融公司自我监管，它们受 SEC 和其他机构监管。」CNBC 称，她在开场时点名联邦政府的「轻触式」（light-touch）监管路线；就在听证会前一周，特朗普总统在华盛顿与科技领袖签署了一份自愿性协议。
市议会正在审议 10 项法案：据 CBS 报道，其中包括禁止未经授权用 AI 描绘公职人员、第三方验证、让人类能够关停 AI 模型，以及聊天机器人数据隐私；市议会 9 月 28 日的新闻稿还说，这批提案包括全美首个举报人激励计划，以及针对受 AI 智能体损害的纽约人的私人诉讼权。市议员 Frank Morano 说：「创新与问责不是敌人……我更愿意在损害发生之前把规则定对」（ABC7 New York 报道）；他还说，公司在使用人们的对话训练模型前应当先获得明确同意（CBS）。
公民技术组织 BetaNYC 的执行主任 Noel Hidalgo 向全院委员会提交了一份，逐条给出对 10 项法案的建议，并呼吁与州政府合作设立「AI 财富基金」、恢复和资助公共信息与传播委员会（COPIC）、界定纽约的「数字主权」，以及充实算法问责办公室和数据战略办公室、新设开源项目办公室；页面标注这份证词仍为初步、草稿状态。市长 Zohran Mamdani 则表示，最需要紧急应对的是国家层面，并认为把 AI 一贯放在与中国军备竞赛的框架里谈论，会忽视它对纽约人生活的影响（ABC7 New York 报道）。
听证会之后，十项法案仍待市议会审议；市议会还计划就缺席的马斯克旗下公司推进法庭程序。