AREX Feed Article
OpenAI 首任人权与负责任部署负责人：军事 AI 的目标定位与自主武器「让我夜不能寐」
据 ，当地时间周二，在纽约举行的 ScaleUp:AI 大会上，OpenAI 首任人权与负责任部署负责人 Sarah Yager 谈到了她对军事机构采用 AI 的担忧：「这让我夜不能寐：『军方会在目标定位上对 AI 做什么？自主武器又怎么办？这一切会走向哪里？』」
10 月 7 日，刊登了这段发言。Yager 于今年 6 月入职；据 Fortune 介绍，她有 30 年相关经验，职责聚焦于军事应用。
在纽约的台上，她点名目标定位与自主武器
据 ，这场大会于 10 月 6 日举行，Yager 是讲者之一。按的说法，她参与的那场对谈讨论的是 AI 从研究走向规模化生产时的问责，以及当风险变得真实时会发生什么；对谈由 Insight Partners 的董事总经理 Hilary Gosher 主持。
在台上，Yager 说：「所有人都非常担心，这是有道理的。」Fortune 的报道称，她担心的是军事机构采用 AI，尤其是在武装冲突中。报道还给出了背景：世界各国的军队正在快速把 AI 纳入作战体系，同时研发无人机、机器人等新武器和自主系统。
一份机密合同，与「形象工程」的疑虑
Fortune 报道称，OpenAI 是在今年 2 月下旬与美国国防部（Department of War，简称 DoW）签署合同之后不久，接触 Yager、邀请她出任这一职位的。这份合同的内容是在机密环境中部署先进 AI 系统。这笔交易发生在 DoW 与 Anthropic 公开决裂之后：Anthropic 希望为军方使用其技术设置护栏（guardrails），具体包括禁止大规模公共监控和完全自主的武器，DoW 不同意；DoW 随后把 Anthropic 列为「供应链风险」，OpenAI 接手了这笔合同，并称自己成功争取到 DoW 同意类似的护栏。
接到邀请时，Yager 并没有立刻答应。她说，自己起初怀疑公司只是在做一次「形象工程」：把她当成一个让公司显得负责任的门面，而她对技术并没有多少实际影响力。她通过与员工交谈做了尽职调查，特别是那些「对自己正在创造什么、又是谁在掌舵深感担忧的年轻一代」，最后决定接下这个职位，看看自己能不能带来改变。「请我的 OpenAI 同事见谅，我现在就在『野兽的肚子里』，」她说，「但这其实是个让我很自在的位置，因为我喜欢做的事就是说服、讨论、辩论，并希望能推动一些改变。」
把 1949 年的战争法写进模型的回答
据 Fortune 报道，入职以来，Yager 已经在影响技术方向上取得了一些进展。她可以直接与研究人员和工程师合作改进模型，比如确保模型对基本的国际协议作出恰当回应，其中包括 1949 年二战后《日内瓦公约》确立的战争法。她还请来国际专家，「让他们真的坐到键盘前，为高风险场景输入提示词」，再让工程师根据模型的回答作出调整。「这以前从未有人做过，所以这让我非常欣慰，」她说。
她提到，美国政府正在快速采用 AI，而她正帮助政府问责局（GAO）和监察长办公室（OIG）等监督机构开发工具，以掌握政府如何使用这些技术。她说，这种问责机制「对民主很重要」。
「人权就应该是基线」
Yager 认为，AI 公司在定义人性与道德这类问题上试图「重新发明轮子」。「社会已经弄清楚其中很多事情，它们叫人权。人权应该是基线，」她说，这里指的是《日内瓦公约》这类协议。「我不想要一家 AI 公司来告诉我什么是善。如果我们允许行业来决定什么是善，那就是一场混战。」
她还谈到硅谷关于「AI 是否该有权利」的争论，包括围绕智能体（agent）技术的讨论。OpenAI 在面试时问过她这个问题，她当时的回答是「不」，并重申自己关注的是人权；此后她在这个问题上想得更多，现在更愿意参与关于智能体在法律、劳动、税收结构中位置的「极其重要的」讨论，但她认为这不是权利问题。「这与人权完全不可相提并论，我真的很希望我们能回到人权里的『人』本身，」她说。台下以西装革履的听众为主，这时开始鼓掌；台上的主持人接了一句：「为这句话热烈鼓掌。」
一份 AI 生成的情报，与一次险些执行的拦截
据 Fortune 报道，美国军方今年曾险些依据一份 AI 生成的错误情报，对一艘中国船只采取行动；CNN 在 中披露了细节。
据 CNN 援引四名知情人士，今年春天美国与伊朗交战期间，一份情报在美军内部流传，称中东海域一艘中国船只正在运输核武器项目的部件。军方迅速行动，计划拦截这艘船；两名消息人士说，美军武装人员正准备登船，军机也已经升空。直到行动开始前，官员们才进一步核查这份由特种作战司令部一名分析员整理的报告，发现它是借助 AI 生成的，而分析员使用的聊天机器人对船上货物的识别是错误的。CNN 未能查明被误认的货物是什么。一名消息人士说，这份报告「完全是假的」，但它也「几乎引发了一场战争」。
驻夏威夷的美国太平洋特种作战司令部和五角大楼没有回应 CNN 的置评请求。CNN 报道称，美军和情报界正推动把 AI 嵌入从分析海量情报到选定打击目标的几乎每个环节；消息人士告诉 CNN，军方正迅速把 AI 用于目标定位。「AI 让你更快地得到一个坏主意，」一名消息人士说。一名熟悉美军现行政策的消息人士则说：「对于『人在回路』如何防止平民伤亡或误伤友军，并没有真正的指导原则。」