AREX Feed Article
The Information:DeepSeek 与 Moonshot AI 被指大量蒸馏 GPT-6 Astra 输出,用于训练 Kimi K3.1 Pro 与 V4.1-Flash
据 10 月 29 日报道,DeepSeek 与 Moonshot AI(月之暗面)在训练各自最新模型时,大量依赖 OpenAI GPT-6 Astra 的输出,方式为蒸馏(distillation),即收集一个更强模型的响应,用来训练自己的系统。报道涉及的模型,是 Moonshot 上周五发布的 Kimi K3.1 Pro,以及 10 月 17 日上线的更新版 DeepSeek V4.1-Flash。转述该报道的 注明,报道内容未经独立核实。
这篇报道在 The Information 的标题为《OpenAI 的 Astra 模型成为中国 AI 实验室的头号蒸馏目标》。它出台的背景,是围绕蒸馏的争端在近两个月里接连升级:OpenAI 指控与 Kimi 有关联的人员 7 月组织了提取其模型隐藏推理的行动;美国国家安全局(NSA)、联邦调查局(FBI)与网络安全与基础设施安全局(CISA)于 发布联合通报,点名六家中国 AI 公司;Anthropic 本月则表示,新防护措施已大幅削减蒸馏攻击中从 Claude 模型采集到的数据量。
图:The Information 报道页头图,以实验室蒸馏装置比喻模型蒸馏;右侧烧瓶上带有 DeepSeek 的鲸鱼标志。
被指取材 Astra 的两组模型,都是近两周的新品
这篇报道由 Jing Yang、Juro Osawa 和 Qianer Liu 署名,引述了对相关情况有直接了解的人士;The Information 的正文需订阅阅读,上述细节经 TNW 转述公开。
两组模型此前都有各自的发布节点。据 ,Kimi K3.1 Pro 于 10 月 23 日发布,是开放权重(open-weight)模型 Kimi K3 的升级版,上线即进入 Kimi 应用和 API(应用程序接口),Moonshot 计划在 11 月 4 日前公开完整权重。V4.1-Flash 最初于 上线,DeepSeek 将其定位为美国模型的低成本替代品,权重以 MIT 许可证发布在 Hugging Face 上;10 月 17 日上线的更新版,正是 The Information 报道中涉及的对象。
蒸馏如何运作:向更强模型提问,再用答案训练自己的系统
TNW 在报道中解释了这个流程:开发者向一个能力更强的模型发送大量提示词,收集它的回答,再用这些响应训练自己的系统。规模化进行时,蒸馏能让更小的模型以低得多的成本复现更先进系统的部分能力。
OpenAI、Anthropic 和 Google 都曾主张,蒸馏能让竞争对手在没有同等训练投入的情况下复现先进能力。据 TNW 报道,各实验室正在设法让这类采集变得更难。
OpenAI 点名的提取行动:逾 15,000 名用户卷入隐藏推理
在新报道之前,Moonshot 已经因类似方法被 OpenAI 点名。OpenAI 9 月 30 日在博客文章中称,其模型的隐藏推理(模型答题前的内部推理过程,不向用户展示)遭人系统性提取:活动始于 7 月 1 日,起初量级很低;7 月 24 日至 25 日出现高峰,两天内收到来自超过 4,000 名用户的 16,000 次符合提取模式的请求;进一步排查后,相关提示词活动出现在超过 15,000 名用户中,OpenAI 于 7 月 28 日全面阻止了这场行动。
OpenAI 写道,无法确定所有操作者是否来自同一方,但将其中的「核心集群」归因于与 Kimi 开发商 Moonshot AI 有关联的人员。其描述的手法是:把一段对话中的加密推理内容复制出来,再让另一个对话中的模型解密并转录;对方并未破解加密、入侵数据库或访问存储的用户对话。
OpenAI 称,公司方面已封禁或限制相关欺诈账号、收紧注册与基础设施控制、加强对隐藏推理的保护,并通过 Frontier Model Forum(前沿模型论坛)和政府信息共享渠道分享了相关发现。据 TNW 转述彭博社的报道,这是 OpenAI 第一次公开指控 Moonshot。OpenAI 在博客中写道:「这一活动符合对抗性蒸馏的特征:系统性地、未经授权地使用一个模型的输出或推理,来帮助训练、复现或改进另一个模型。」
蒸馏疑云下的跑分表:Moonshot 自称 K3.1 Pro 已超 GPT-6 Astra
两家公司此前的评测声明,都以 Astra 或美国模型作为参照。Moonshot 称,在考察 AI 编程智能体的 Terminal-Bench 4.0 测试上,Kimi K3.1 Pro 得分 65.7%,高于 GPT-6 Astra 的 58.2%,领先 7.5 个百分点,仅以微弱差距落后于 Anthropic 的 Claude Opus 5.5(66.4%)。
DeepSeek 在 9 月发布 V4.1-Flash 时,也公布了自家评测表的强劲成绩。TNW 强调,两家公司的评测结果都没有经过独立验证。
防线收紧:Anthropic 称采集量减少九成以上,指控与反驳并存
防线在收紧。Anthropic 本月表示,新安全防护措施已把在蒸馏攻击中从 Claude 模型采集到的数据量削减约 90%~99%,这一幅度是该公司自己的声明。OpenAI 一侧,其战略国家安全政策倡议负责人 Caroline Zier 当时向彭博社强调:「我们关心的是违反服务条款,而不是开放模型或正当蒸馏。」(据 转述)
美方机构则把这种担忧写进了正式通报。9 月 8 日,NSA、FBI 和 CISA 联合发布通报,指称 DeepSeek、Moonshot AI、阿里巴巴、MiniMax、StepFun 和 Z.AI 自 2024 年底以来,对 Claude、GPT、Gemini、Grok 等美国前沿模型进行了产业规模的蒸馏提取,并称蒸馏在这些公司的模型开发中「不是补充,而是核心」;通报还称,DeepSeek 广被引用的 560 万美元训练成本,未计入通过「恶意蒸馏」获取数据的真实成本。据 ,通报使用的措辞留有余地——「很可能在中国政府知情的情况下」——通篇内容属于美方机构的指控。
反驳同样在场。据彭博社报道,中国驻美使馆发言人 Liu Chang 称这些指控是对中国 AI 发展的蓄意攻击;曾任特朗普政府 AI 事务负责人的 David Sacks 则称,此类报道是在推动美国封禁竞争对手的开放模型。
The Information 的这篇报道目前仍未经独立核实。TNW 在报道结尾指出,头部实验室因此面对一个难题:提供给用户使用的模型,同时也是竞争对手追赶时取用的训练材料。