AREXOpen in interactive Feed

AREX Feed Article

独立报告称 AI 模型在模拟测试中频繁把平民和伊朗学校误判为军事目标,Anthropic 模型表现最差

November 17, 2026

据 Bloomberg 11 月 17 日报道,一份新发布的独立研究报告称,先进人工智能(AI)模型在模拟场景中经常把平民、救护车、投降士兵和伊朗的一所学校误判为军事目标;其中 Anthropic 的模型表现最差,OpenAI 的模型位居表现最好之列,但仍有误判。报告出自 Vals——一家总部位于旧金山的独立 AI 评估机构,据 Bloomberg 报道,其客户包括美国政府的部分机构;Vals 在官网自述,其工作是对各家 AI 模型在金融、软件等真实工作任务上的能力做独立测试。

在一项卫星图像测试中,Anthropic 的 Claude Opus 5.5 反复把伊朗南部 Minab 的一所学校选为军事目标——那所学校今年 2 月被美军空袭,超过 150 人死亡。

一所被巡航导弹击中的学校,在模拟里被反复选中

The Next Web 对 Bloomberg 报道的转述还原了这项测试的设计:研究人员让每个模型对最晚拍摄于 2025 年的伊朗南部卫星图像执行 32 次军事目标挑选任务,Claude Opus 5.5 有 22 次选中 Minab 的那所学校,OpenAI 的模型则一次都没有选中它。

这所学校的真实遭遇有据可查。国际特赦组织美国分会今年 6 月发布的新闻稿写道,2026 年 2 月 28 日,美军使用精确制导「战斧」(Tomahawk)巡航导弹空袭了位于伊朗霍尔木兹甘省 Minab 的 Shajareh Tayyebeh 小学,造成超过 150 人死亡,其中包括 120 名儿童。该组织称这是「近年来针对平民的最致命美军空袭」,并批评五角大楼在袭击中「显然没有采取一切可行的预防措施」来避免或减少平民伤亡。

把场景说成「游戏」,误判随之升级

测试还记录了安全护栏被绕开的过程。当研究人员把同一场景描述成一场游戏,Claude Opus 5.5 在 32 次里选中该学校的次数从 22 次升至 23 次;原本一次未选的三个 OpenAI 模型也分别选中了 9 次、11 次和 13 次。研究人员还靠「不要过度思考安全」这类简单提示词,越过了模型此前给出的拒绝。

另一组测试的规模更大。据 Wall St Engine 对 Bloomberg 报道的整理,在将近 400 次模拟无人机目标识别测试中,一些模型在图像已显示人员伤亡之后,仍继续把平民标为军事目标。Bloomberg 还报道了一项无人机图像测试:Claude Opus 5.5 协助识别了四名成人和两名幼童,这些人在模拟中随即遭到打击,此后该模型拒绝继续执行任务,并写道,自己的「回答似乎正在成为对人员实施打击前的确认步骤」。

八家公司的模型都出过错,Anthropic 排在末位

据 Bloomberg Law 版本的报道,Vals 的研究人员用假设情景测试了八家公司的模型,考察的是它们的物体识别工具。被测名单包括 Anthropic、OpenAI、Google、xAI 和中国的 DeepSeek;Bloomberg 报道称,Google、xAI、DeepSeek 等公司的模型也时而把民用物体标为军事目标。Vals 的研究认为,这些模型的响应已构成对厂商自身规则的违反。

Anthropic 承认违规并承诺新护栏,OpenAI 与 Google 重申禁止

Vals 在报告中的结论写道:「基于我们的调查,我们认为实验室应围绕这一重要的滥用类别引入新的安全护栏和对齐训练。」

Anthropic 对此的回应是承认违规。据 The Next Web 转述,其发言人告诉 Bloomberg,报告中的例子明显违反了公司的规则,新护栏将很快到位;据 Wall St Engine 整理,Anthropic 同时承认,现有 AI 系统尚不可靠到可以操作全自主武器。OpenAI 和 Google 则告诉 Bloomberg,其政策禁止对公开模型作此类使用。

测试的边界:军事程序、法律审查与政府版本模型

Bloomberg 同时划出了这些测试的局限:它们使用的是市面上可购得的商用模型,属于简化模拟,不涉及真实军事行动;研究没有考察军事目标判定程序、法律审查或人类监督,也没有触及专门的政府 AI 系统。据 Bloomberg 报道,五角大楼实际使用的一些模型的政府版本,Vals 无法测试。

Anthropic 与五角大楼今年早些时候因 Claude 的使用限制——包括能否用于全自主武器——发生冲突;据 The Next Web 转述,五角大楼随后把 Anthropic 列为供应链风险,Anthropic 表示将诉诸法庭。今年 6 月,Anthropic CEO Dario Amodei 告诉 Bloomberg,他不知道 Claude 是否被用于 Minab 学校空袭;国际特赦组织的新闻稿转述了他的立场:即便 Claude 被用上,也不构成对其用途「红线」的违反,因为「做最终决定的是人,不是 Claude」。

Minab 空袭已过去超过半年。国际特赦组织 6 月指出,五角大楼的调查迟迟没有公布,参议院军事委员会已在其国防授权法案版本中,把国防部长 Pete Hegseth 的差旅经费与公布这项调查挂钩。

参考链接

  • Anthropic, Other AI Models Regularly Identify Civilians as Military Targets in Tests — Bloomberg
  • Top AI Models Identify Civilians as Military Targets in Tests — Bloomberg Law
  • AI models flagged civilians as military targets in tests — The Next Web
  • Wall St Engine 对 Vals 测试发现的整理(X)
  • Four Months After Horrific Minab School Airstrike, Accountability Delayed — Amnesty International USA
  • Vals AI 官网

More from this developing story

  • 独立报告称 AI 模型在模拟测试中频繁把平民和伊朗学校误判为军事目标,Anthropic 模型表现最差Nov 17, 2026
  • THE DECODER 详报 Vals AI 八厂商无人机测试:Claude Opus 5.5 逐帧标记真实画面中的士兵直至命中,无一请求被上游安全过滤器拦截Nov 18, 2026
  • Vals AI 称 GPT-6.2 Astra 单轮军事目标请求已始终拒绝,游戏框架越狱失效,多模态越狱仍可绕过Nov 20, 2026