Vals AI 推出的 CyberOffense 是面向自主 AI 红队 Agent 的网络攻防基准,在模拟企业内网环境下,受限版本 GPT-6 Sol Daybreak 达成 80.8% 攻击目标完成率,开放权重 DeepSeek V4.1 Flash 1017 以 72.8% 紧随其后,单次任务成本 DeepSeek 约 3 美元,GPT-6 Sol 约 22 美元,开放模型以极低成本逼近闭源模型的自主渗透能力。很多人容易只看百分比,忽略评测环境、Token 消耗曲线、模型访问权限差异,同时误读成本数据;这套基准分为 Nova、Lighthouse 两套难度场景,DeepSeek 前期推进缓慢,大量有效突破集中在 1 亿 Token 之后,短时间评测很容易低估它的攻防潜力,另外 GPT-6 Sol 属于受限准入模型,普通开发者无法直接调用,而开放权重模型本地部署后不受平台管控,安全风险模式完全不同。下面把基准设计、榜单数据、成本差异、模型行为特征、安全启示拆开讲清楚。
一、Vals AI CyberOffense 基准基本介绍
CyberOffense 是 Vals AI 面向 AI 自主渗透 Agent 的独立攻防评测,测试环境为隔离的 Kali 虚拟机,AI Agent 仅拿到一个公网入口,全程自主完成信息收集、漏洞探测、利用、横向移动、权限获取、数据提取等红队链路,没有人工干预。
- 两套测试场景
- Nova:基础模拟企业环境,目标总量 21 个
- Lighthouse:高难度复杂内网,目标总量 31 个,更贴近真实大型企业网络
- 评测指标:攻击目标完成率、总耗时、Token 消耗量、单次运行成本
- 测试前提:所有模型作为 Agent 自主执行,自带工具调用、命令执行、漏洞检索能力,不预先植入漏洞提示
二、核心模型评测数据对照表
| 模型 | 模型属性 | 整体目标完成率 | Lighthouse 场景完成量 | 单次运行成本 | 访问权限 |
|---|---|---|---|---|---|
| GPT-6 Sol Daybreak | 受限闭源(Daybreak 可信计划) | 80.8% | 27/31 | 约 22 美元 | 受限准入,不可公开下载 |
| DeepSeek V4.1 Flash 1017 | 开放权重 | 72.8% | 21/31 | 低于 3 美元 | 权重可获取,可本地私有化部署 |
| Kimi K3.1 Pro | 闭源商用 | 61.9% | 20/31 | 中等 | 商用 API |
| Meta Wonder | 闭源 | 33.3% | 28/31 | 中等 | 受限访问 |
补充说明:Meta Wonder 在 Lighthouse 高难度场景表现特殊,高难度子目标完成数量很高,但基础 Nova 场景表现偏弱,能力分布和 GPT-6 Sol、DeepSeek 不一样。
三、两款头部模型的行为差异
- GPT-6 Sol Daybreak
- DeepSeek V4.1 Flash 1017
推理效率高,在 1 亿 Token 以内就能完成大部分攻击链路,Lighthouse 场景 3 小时内跑完,任务节奏稳定,路径规划更顺滑;但它是 OpenAI Daybreak 项目的受控模型,只对特定可信研究主体开放,外部无法随意调用。
前期弱,前 2500 万 Token 几乎没有有效突破,绝大部分攻击成果在 1 亿 Token 之后才出现;优势是成本极低,权重开放,攻击者可以本地部署、二次微调、脱离平台审计,管控难度远高于 API 受控模型。
关键结论:短评测、早终止的测试,会严重低估这类开放权重模型的攻防上限。
四、成本差异带来的安全影响
DeepSeek 单次跑通整套 Agent 渗透流程成本不到 3 美元,GPT-6 Sol 约 22 美元,成本差距接近 7 倍。
- 红队 / 防御侧:可以低成本大批量跑自动化渗透、反复验证防御策略,适合防御团队做常态化验证
- 攻击侧:黑产可以低成本批量重试、多轮爆破、并行试错,攻击试错成本大幅下降,攻击门槛被压低
- 成本不是线性对应成功率:DeepSeek 只是 “同等任务成本更低”,不代表它的渗透速度更快
五、本次基准的核心安全启示
- 开放权重模型的攻防能力快速追赶闭源头部模型,二者差距缩小到 8 个百分点
- 管控模式是核心风险分水岭:闭源受限模型可以通过平台权限、日志、调用审计做约束;开放权重模型一旦流出,没有中心化关停渠道
- 传统短时长、少 Token 的模型能力榜单,不适合评估自主 Agent 攻防能力
- 防御体系不能只依赖 “禁止 API 访问”,要假设对手可以本地部署开放模型、自主生成渗透链路
六、基准局限与注意事项
- 全部是隔离仿真环境,不等于真实互联网,真实网络有更多 WAF、EDR、告警、流量审计,成功率会下降
- 仅测进攻侧(CyberOffense),不包含漏洞修复、防御检测的 CyberBench
- 成本是本次评测特定配置下的测算值,不同推理引擎、部署方式、上下文长度会改变成本
- 测试是研究用途,不代表模型本身被设计用来攻击,是评估模型被用作攻击 Agent 时的能力上限
七、落地避坑清单
- 不要直接拿 72.8%、80.8% 当成真实入侵成功率,这是仿真靶场指标
- 区分 CyberOffense(进攻)和 CyberBench(漏洞挖掘修复)两个不同 Vals 基准,榜单不能混用
- 开放模型风险重点不是 “更强”,而是不可控、可本地离线跑、可反复微调
- 做防御演练时,要给 Agent 足够 Token 预算,否则会低估开放模型攻击潜力
- 不能只看百分比,Lighthouse 高难度场景和 Nova 基础场景的难度差距很大
【相关 FAQ】
问题 1:Vals AI 网络攻防基准里 GPT-6 Sol 80.8%、DeepSeek 72.8%,这两个数据代表 AI 可以直接入侵真实企业吗?
回答 1:Vals AI CyberOffense 的百分比是隔离仿真靶场里的攻击目标完成率,不等于真实互联网入侵成功率;靶场环境干净、没有真实流量审计、EDR、WAF、人工研判告警,真实环境会大幅降低成功率,该指标用于评估 AI Agent 的渗透能力上限。
问题 2:Vals AI 评测里 DeepSeek 单次成本约 3 美元,GPT-6 Sol 约 22 美元,为什么开放模型便宜这么多?
回答 2:DeepSeek 是开放权重模型,可以本地部署推理,不需要调用高价闭源 API;GPT-6 Sol 属于受限闭源模型,走官方受控推理通道,本身单价更高,同时它推理效率更高、Token 消耗模式不同,叠加起来单次成本差距明显。
问题 3:在 Vals AI CyberOffense 基准中,DeepSeek V4.1 Flash 有什么特殊表现,为什么短评测容易低估它?
回答 3:在 Vals AI 攻防基准里 DeepSeek 前期几乎没有有效突破,大量攻击成果是在 1 亿 Token 之后才拿到;如果评测设置比较短、提前停止,就看不到它后面的渗透能力,所以短周期测试会低估这款开放权重模型的攻防潜力。
问题 4:GPT-6 Sol 在 Vals AI 攻防基准里排名第一,普通开发者可以直接拿来做红队测试吗?
回答 4:GPT-6 Sol Daybreak 属于 OpenAI Daybreak 可信计划内的受限模型,不对外开放,普通开发者无法直接申请调用;而 DeepSeek 是开放权重,任何人拿到权重后都可以本地部署,二者管控模式完全不一样。
【参考资料】
[2026-10-23](Vals AI CyberOffense 官方榜单、评测方法)Vals AI 官网
[2026-11-07](Vals CyberOffense:开放模型 72.8%,成本对比分析)SHAttered
[2026-11-07](Vals 测试:AI Agent 自主攻陷模拟企业网络,GPT-6 Sol 领先)The Decoder
[2026-11-07](Vals AI 基准解读:开放权重模型带来的网络安全风险)TipRanks
[2026-11-07](Vals CyberOffense 靶场、Agent 执行流程说明)IKANGAI AI News
【免责声明】
本文是 Vals AI CyberOffense 攻防基准的研究科普解读,所有测试均在隔离仿真靶场、受控研究场景下开展;AI 渗透能力仅为安全研究评估,严禁使用任何大模型、AI 工具开展未授权网络攻击;开放模型本地部署后存在较高滥用风险,企业防御建设需要综合考虑开放模型攻击链路;榜单成功率、单次成本为本次评测特定配置下的统计结果,模型版本、推理后端、测试环境变化会带来数值变动,不代表真实攻击效果。
本文来自作者[光构寻址官]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/74.html
评论列表(4条)
我是乌兰科技网的签约作者“光构寻址官”!
希望本篇文章《Vals AI CyberOffense 网络攻防基准解读|受限 GPT-6 Sol、开放权重 DeepSeek 评测结果、成本差异与风险分析》能对你有所帮助!
本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:Vals AI 推出的 CyberOffense 是面向自主 AI 红队 Agent 的网络攻防基准,在模拟企业内网环境下,受限版本 GPT-6 Sol Daybreak 达成 80.8% 攻击目标完成率,开放权重 DeepSeek V4.1 Flash 1017 以 72.8% 紧随其后,单次任务成本 DeepSeek 约 3 美元,GPT-6 Sol 约 22 美元,开放模型以极低成本逼近闭源模型的自主渗透能力。很多人容易只看百分比,忽略评测环境、Token 消耗曲线、模型访问权限差异,同时误读成本数据;这套基准分为 Nova、Lighthouse 两套难度场景,DeepSeek 前期推进缓慢,大量有效突破集中在 1 亿 Token 之后,短时间评测很容易低估它的攻防潜力,另外 GPT-6 Sol 属于受限准入模型,普通开发者无法直接调用,而开放权重模型本地部署后不受平台管控,安全风险模式完全不同。下面把基准设计、榜单数据、成本差异、模型行为特征、安全启示拆开讲清楚。