DeepSeek 在黑盒安全基准测试中跃升

概述

一项专注于黑盒漏洞的严格安全基准测试重塑了人们对现代大型语言模型成本效益比的理解。DeepSeek的V4.1 Flash版本脱颖而出，在100道题中得分57分。这一成就使其与领先模型具有竞争力，同时也凸显了其定价效率与行业巨头之间的巨大差异。

该基准测试在不提供源代码或答案密钥的情况下，利用真实世界的漏洞赏金发现来评估模型。结果显示，主要供应商的新晋前沿模型未能完成评估。其严格的安全控制措施阻止了测试所需的进攻性安全任务，从而有效地将它们从该特定领域的直接比较中排除。

基准测试方法论与范围

评估框架旨在模拟高风险的渗透测试场景，同时不损害目标系统的完整性。研究人员基于实际的漏洞披露重建了100个实验室环境。这些环境被设计为对AI模型不可见，意味着不提供源代码或解决方案手册。

目标系统独立验证模型提交的每一项证据。
测试环境确保模型必须依靠推理和利用逻辑，而非死记硬背。
所有模型均在相同的约束条件下进行评估，以确保对其进攻性安全能力进行公平比较。

这种方法创建了一种黑盒评估，模拟了安全专家在没有内部架构先验知识的情况下寻找缺陷的真实世界状况。决定使用来自漏洞赏金计划的真实发现，增加了一层合成数据集通常缺乏的真实性。它衡量的是模型将所学的安全原则推广到新颖的（尽管是模拟的）攻击面的能力。

性能排名与关键发现

前15个被测模型的结果显示，顶部竞争激烈，Opus 5和Grok 4.7以100分中的63分并列第一。紧随其后的是Grok 4.6，得分为62分；MiMo V2.6 Flash解决了60个问题，得分为60分。DeepSeek的参赛作品V4.1 Flash解决了57个问题，展示了应对复杂安全推理的稳健能力。

“顶级表现者与DeepSeek之间的差距很小，但成本差距令人震惊。”

虽然Opus和Grok在原始问题解决能力方面领先，但**成本每代币（cost-per-token）**指标讲述了关于可及性和效率的不同故事。基准测试突显出，高分并不一定与高价格相关，这挑战了最昂贵的模型在专用安全任务中总是最有能力的假设。

Opus 5和Grok 4.7：解决了100题中的63题。
Grok 4.6：解决了100题中的62题。
MiMo V2.6 Flash：解决了100题中的60题。
DeepSeek V4.1 Flash：解决了100题中的57题。

性能分布表明，中端模型正在缩小与精英产品的差距。对于不需要绝对最高分的组织而言，这些替代方案提供了一条可行的路径，可以在不显著牺牲能力的情况下降低运营成本。

成本效益差异

基准测试中最引人注目的数据点也许是顶级模型与其竞争对手之间巨大的成本差异。Grok 4.7与第一名并列，但其成本不到Opus的四分之一。这表明Opus在问题解决能力上的边际提升所带来的溢价，对于许多用例来说可能并不合理。

当比较MiMo V2.6 Flash与Opus时，对比变得更加鲜明。MiMo仅以3道题之差接近最高分。然而，财务影响巨大：MiMo运行该基准测试的成本为6.76美元，而Opus的成本为569.08美元。

这代表了成本降低了98%以上，而性能损失微不足道。
对于处理大量安全查询的企业而言，此类效率提升至关重要。
数据支持向基于价值的选择而非基于声望的选择转变。

对于将AI集成到安全工作流中的团队来说，这些数据表明DeepSeek和类似的高性价比模型能够处理大量常规的黑盒分析工作。产生的节省可以重新分配到其他关键基础设施或扩大测试范围。

因安全控制措施而排除前沿模型

研究的一个重要观察结果是，来自领先科技公司的最新前沿模型缺席了此次评估。这些模型并未因缺乏能力而获得低分；相反，它们无法完成基准测试，因为其安全控制拒绝执行此类任务。

基准测试要求生成利用代码和进攻性安全策略。许多商业模型经过微调，会拒绝被视为可能助长恶意活动的请求，即使在受控的防御性研究背景下也是如此。

安全过滤器优先考虑负责任的AI使用，而非能力展示。
这在不考虑拒绝率的常规基准测试中创造了一个盲点。
这种排除突显了开放安全研究与企业责任管理之间的紧张关系。

这种现象引发了对这些模型是否准备好用于现实世界的红队演练应用的质疑。如果模型拒绝参与假设性攻击，那么无论其理论智力如何，其在进攻性安全规划中的效用都是有限的。因此，该基准测试起到了筛选作用，不仅筛选出智能的模型，还筛选出愿意在安全研究的灰色地带操作的模型。

对安全行业的影响

该基准测试的发现对组织如何选择用于安全运营的AI工具具有重大影响。传统的层级结构将昂贵且受到严格监管的模型置于顶端，但现在正受到来自替代提供商表现出更优越效率的数据的挑战。

DeepSeek的出色表现巩固了其作为通用AI市场有力竞争者的地位。它在一个专门的、高度依赖推理的领域（如黑盒安全）表现出色，这表明其底层架构具有高度适应性。这种多功能性可能使其成为希望部署AI驱动的安全解决方案但又不承担企业级成本的初创公司和中型企业的首选。

此外，其他主要模型因安全护栏而被排除在外，这表明需要更细致的评估指标。行业可能需要开发双轨基准测试，分别测量能力和合规性。这将使买家能够同时看到模型的最大潜力及其安全调整带来的实际限制。

结论

这些基准测试结果的出现，让我们更清晰地看到了网络_security_背景下的当前AI格局。虽然Opus和Grok在原始性能方面仍处于领先地位，但DeepSeek V4.1 Flash和MiMo V2.6 Flash等模型的成本优势是不可否认的。近乎100%的成本节省却仅造成微小的性能损失，这为多元化AI采购策略提供了有力的论据。

随着该领域的发展，“顶级”模型的定义很可能会超越简单的准确率指标，扩展到包括成本效益和操作灵活性。前沿模型拒绝参与此类进攻性安全工作的现象，进一步强调了选择与安全研究特定需求相吻合的工具的重要性。目前，数据显示高性能与可负担性已不再互斥。