AREX Feed Article
OpenAI 与 Meta 警告美国司法小组:AI 深度伪造让法庭核验音视频证据越来越难
据,10 月 15 日(周四),OpenAI 与 Meta 的代表在波士顿向一个联邦司法小组表示,AI 生成的深度伪造(deepfake)已经先进到让法庭越来越难以核验音频与视频证据的真伪。这场会议是美国司法会议(Judicial Conference of the United States)下设证据规则咨询委员会(Advisory Committee on Evidence Rules)的公开会议;显示,会议在波士顿以现场加远程的混合形式举行,向公众开放旁听。
两名发言人分别来自 OpenAI 和 Meta。OpenAI 政策法律顾问(policy counsel)Shira Anderson 对委员会说,AI 图像的质量仍在继续提升,她不相信将来会存在能够检测出 AI 图像的科学方法。Meta 产品管理总监(director of product management)Devin Norder 则表示,近期 AI 模型生成的媒体内容已经无法被人类与真实内容区分开,而且现在制作这类内容所需的成本和时间都极低。按报道的说法,这个委员会已经围绕如何应对伪造的 AI 证据工作了三年。
波士顿会议上的五人小组
列出了当天的安排:上午先进行「深度伪造与联邦证据规则的真实性条款」专家小组讨论,之后还有一场关于 AI 证据与拟议 Rule 707 的小组讨论。深度伪造小组共有五名发言人,按议程顺序为:达特茅斯学院教授 Hany Farid、西北大学教授 V.S. Subrahmanian、美国国家标准与技术研究院(NIST)的 James Horan、OpenAI 的 Shira Anderson,以及 Meta 的 Devin Norder。按议程安排,每名发言人作 5~10 分钟陈述,委员会成员可以随时提问,全部发言结束后还有一轮集体讨论。
议程文件附有五人简介:Farid 长期研究数字图像分析和深度伪造检测;Subrahmanian 牵头开发了面向记者的全球在线深度伪造检测系统(GODDS);Horan 领导 NIST 的多媒体语言技术小组,并主导 NIST 针对 AI 生成深度伪造的评估计划(Guardians of Forensic Evidence)。Anderson 在 OpenAI 负责 AI 监管议题,包括 AI 安全、儿童安全、聊天机器人监管、选举和 AI 内容溯源,并参与内容来源与真实性联盟(C2PA)有关合成媒体、深度伪造和数字证据的工作;Norder 领导 Meta 生成式 AI 的信任、安全与风险团队,工作覆盖文本、音频、图像、视频等各类模型能力,参与过 C2PA 标准下的内容凭证工作,也评估过水印等标记机制在日常处理和对抗性输入下的失效程度。
议程文件为小组列出了至少九类讨论问题,包括:深度伪造未来是否会大量涌入法庭;判断一件证据是否为深度伪造有多难、今后会更容易还是更难;水印和 C2PA 这类方案能否阻止普通人制作出无法检测的深度伪造;文本伪造与音视频伪造有什么不同;以及专家证人在此类争议中是否不可避免、成本有多高。
Rule 901(c):谁举证、按什么标准
委员会手里有一份准备好的草案,至今没有最终批准。按议程文件的描述,委员会在最近七次会议上持续处理对《联邦证据规则》(Federal Rules of Evidence)第 901 条的拟议修改:新增的 (c) 款将规定,一旦有一方主张某件证据是深度伪造,该方须先提供足以支持「这件证据是伪造」这一认定的证据;此后举证责任转给提交证据的一方,后者必须以优势证据(preponderance of the evidence,即证明「更可能是真实的」)说服法官,证据才能留在案内。现行规则只要求提交方给出足以让陪审团认定其真实的证据,即 Rule 104(b) 的低门槛。
草案覆盖任何形式的证据,不限于音视频,也包括文本,并给「生成式 AI」下了定义;它还写入了通知要求:除法院另有安排外,质疑方须在审前给出合理通知,让其他各方有机会回应。
但草案没有进入公示程序。今年 5 月的会议记录显示,与会者决定把问题留到秋季会议,先请技术专家和律师以小组讨论的形式提供意见;10 月 15 日的这场会议就是这项安排的结果。
931 名法官中,15 人遇到过质疑
在法院这一端,联邦司法中心(FJC)的调查提供了另一组数字。显示,委员会 2025 年 12 月请 FJC 面向联邦法官做问卷调查,调查于今年 1 月进行,共 931 名法官回复,回复率为 45%。98% 的受访法官表示没有遇到过当事人以「深度伪造」为由质疑视频、照片或音频证据的情形,15 人表示遇到过,另有两人未作回答。这 15 人里,10 人只遇到过一次;13 人来自地区法院或治安法院,其中 9 人的质疑出现在民事案件中。尚未遇到过此类质疑的受访者中,82% 表示会要求某种初步举证后再受理伪造指控;认为应修订规则来应对深度伪造的占 55%。
5 月会议的记录中还提到一则案例:一名被告因伪造音视频证据、导致另一个人被起诉,而以妨碍司法认罪。议程文件汇编的判例显示,这类争议已经在产生实际后果:加州一家法院在一起住房纠纷中认定部分音频和图像材料是深度伪造或经过实质修改,对原告作出终止诉讼的制裁,并写道法院「没有时间、资金或技术能力」对其余可疑材料进行取证分析;肯塔基州一家上诉法院维持了一项藐视法庭裁决,一名女子因在庭审中提交虚假证词和伪造文件(包括一张处方药照片)被判入狱 45 天。同一份议程文件收录的一篇报道还提到,相比联邦法院,深度伪造在州法院要普遍得多,家事案件尤其集中。
按 Investing.com 的报道,委员会主席、曼哈顿的联邦地区法官 Jesse Furman 提到,学术评论预测法院将面对深度伪造,但在真实案件中,这类情形还没有频繁出现。
水印、C2PA 与「永远不会完全可靠」
Anderson 在会议上谈到了水印和内容凭证。报道提到,包括 OpenAI 和 Meta 在内的公司都开发过核验视觉内容的工具;加州和欧盟则通过新法,要求用加水印的方式来检测深度伪造。但按 Anderson 的说法,每家公司都在用自己的一套系统,不存在能可靠检测所有水印、或核验视觉内容真实性的通用方法;这些系统会继续改进,但永远不会完全可靠。
会议材料里可以看到更具体的条文:加州要求受涵盖的服务提供者上线公开可用的 AI 检测工具,为生成内容加入清晰可见的标识、机器可读的隐形标识和元数据,并采取措施防止第三方移除标识;欧盟《人工智能法案》第 50 条要求提供者确保输出以机器可读方式标注、可被识别为人工生成或操纵,技术方案须在可行范围内做到有效、可互操作、稳健可靠,但法案并未规定单一通用水印,也没有建立「机器生成」的取证推定。
议程文件还收录了一份对 C2PA 的技术评估摘要,列出这类方案的多个断点:签名时间戳可被替换而不易察觉,不同验证工具可能对同一文件给出互相矛盾的结论,文件的部分元数据可以在签名保护范围之外被修改。Norder 的简介也写到,她评估过这些机制的短板:标记能在日常处理中存活多久,检测面对对抗性输入时退化到什么程度。
委员会里的分歧:现有规则够不够用
分歧在 5 月的会议上就已经出现。会议记录显示,美国司法部代表认为 Rule 901(c) 尚未准备好公示,现有规则足以应对;有委员会成员说,伪造证据历来难以识别,审判法官有足够经验处理,而且提交伪造证据本身就是犯罪,委员会应当先观察这类问题在联邦法院中如何出现;联邦公设辩护人则持相反立场,认为联邦法院系统很快就要面对这个问题,委员会应当提前行动。
与深度伪造草案同场讨论的还有拟议的 Rule 707:它对没有专家证人伴随的 AI 生成证据施加可靠性要求。这份草案 2025 年春季获准公示,在收到两场听证会的证词和 70 多条书面意见后,委员会上一次会议决定撤回已公示的版本,改为提交修改稿作进一步研究。
按,证据规则咨询委员会的下一次会议定于 2027 年 4 月 14 日在华盛顿举行;即便草案顺利进入公示程序,按 Furman 在 5 月会议上的说法,Rule 901(c) 的生效时间也不会早于 2028 年 12 月 1 日。