AREX Feed Article
DeepSeek-V4.1-Flash-1017 安全审查实测:54 个漏洞、7.53 美元,审查成本比上一版低 41%
10 月 17 日,安全研究者 @Zaddyzaddy 公布了 DeepSeek-V4.1-Flash-1017 在 BugBunny VulnPR-100 基准上的一轮结果:100 个含已知漏洞的 PR,每个限 1 小时,模型找到 54 个漏洞,审查成本为 7.53 美元()。
按他给出的对比,54 个发现与 Grok 4.6 持平,审查成本约为后者的 1/16;比 Gemini 4 Argon 少 3 个发现,成本约为后者的 1/22;相比上一版 V4.1-Flash,发现更多、成本更低。
DeepSeek 当天发布这一检查点时,用的说法正是「性能与成本的帕累托改进」,即性能提升、成本不升:基准更强、任务完成更快、输出更短。权重发布在 Hugging Face 和 ModelScope;Hugging Face 模型卡标注 MIT 许可,并列出 763B 参数、1M token 推荐上下文(、)。
同一套 PR 上的排名与前后对比
VulnPR-100 的设定是 100 个已经含有已知漏洞的 pull request,每个 PR 给模型 1 小时寻找问题。Zaddyzaddy 说,DeepSeek-V4.1-Flash-1017 在这一轮里报告了 54 个漏洞;按 100 个 PR 摊,平均每个不到 8 美分。
图:BugBunny 的 VulnPR-100 榜单图,来自 Zaddyzaddy 的帖文。图中列出各模型的发现数与审查成本。
榜单上,Grok 4.7 以 62 个发现排在最前,审查成本 338.67 美元;Gemini 4 Argon 57 个、166.40 美元。1017 排在它们之后。上一版 V4.1-Flash 是 44 个、12.79 美元;新版本多找到 10 个,成本反而少了 41%,折合每个漏洞约 0.14 美元。
但 54 个是发现数量,不是经过人工确认的可用漏洞数。图片底部注明,超时和策略拒答按零分计,评审(judge)成本不计入;帖文也没有给出误报数量、重复次数、方差,或人工确认这些发现所需的时间。7.53 美元是榜单统计的审查成本,不是安全团队的总成本。
另一项测试:修 bug 进步明显,但仍排在 Opus 5.5 之后
同一天更早,AI 产品经理 Paweł Huryn 公布了另一种工作负载的测试:2 个仓库、105 个注入 bug,让模型自己找并修。DeepSeek-V4.1-Flash-1017 在 max 档得 34 分,比上一版 V4.1-Flash 的 21.7 分高出一截;但仍低于 Muse Wonder Full 1.0 的 42、Opus 5.5 的 41.7 和 Gemini 4 Argon 的 40.7,高于 Grok 4.7 的 29、Qwen3.8-Max 的 25.7 和 GLM-5.3 的 19()。
Huryn 预计再重复三次,分数会有约 1.7 分的波动。这意味着 34 分本身不是稳定的最终值,但 21.7~34 的跨度已经超出他估计的波动范围。
两项测试给出的排序并不相同。在 Zaddyzaddy 的安全审查榜上,1017 是开源权重模型中的最好成绩;在 Huryn 的修 bug 任务上,它仍落后于 Muse Wonder、Opus 5.5 和 Gemini 4 Argon。题目、评分方式和测试框架都不同,这不是对厂商基准的直接反驳,但至少说明厂商表里对 Opus 5 的领先,未必能原样搬到每一个真实任务上。
厂商的帕累托曲线,对上两项第三方测试
DeepSeek 模型卡上的 11 项基准都是自报数字:Terminal-Bench 4.0 为 42.3,上一版 31.2;DeepSWE v1.1 为 77.0,上一版 74.2;HLE(Humanity's Last Exam)无工具为 42.6,上一版 36.8。Claude Opus 5 仍在 Terminal-Bench 4.0(51.8)和 HLE 无工具(56.3)上领先。
官方 API 文档还放了一张 DeepSWE v1.1 的成本—性能图:1017 的最高分点约 77%,对应每任务不到 0.2 美元;上一代最高分 74.2%,对应约 0.5 美元。图的说明写明,数据用 DeepSeek 的 mini-swe-v2 harness(测试框架)跑出;这是厂商自测,不是第三方复现()。
图:DeepSeek 官方发布材料中的 DeepSWE v1.1 成本—性能图。横轴为每任务平均成本(对数刻度),纵轴为 Pass@1。
把厂商图和两项第三方测试放在一起,能支持的是一条更窄的结论:在安全审查这一项上,更多发现伴随着更低成本;在修 bug 这一项上,分数明显上升。这两项测试的结果只覆盖安全审查和修 bug,不涉及厂商表中的其余基准;它们的结果里也没有输出长度和任务时间的对比。
榜单数字之外,复现与文档的问题
开发者 @CcVylree 则提出了另一类问题:他称旧的 flash API id 现在路由到 1017,任何按名称固定模型的评测都会在中途遇到一次静默换模型;仓库只给 Python 编码器(encoder)、没有 Jinja 聊天模板,早期本地评测数字可能基于手工移植的对话格式()。这是单一来源的技术质疑,帖中没有给出复现步骤,目前只能作为待核实的说法。
模型卡链接的技术报告,标题仍是《DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression》,不是专门描述 1017 更新的文档。这次更新改了哪些后训练步骤、如何得到更短的输出,模型卡没有单独展开。