跳到正文
智源社区· AREX·· 6 小时前精选AI 评分60

XBOW 实测 GPT-6 Cyber 与 GPT-6.1 Sol:速度快约 2 倍但少解出 5 个目标

XBOW 实测 GPT-6 Cyber:比 GPT-6.1 Sol 快约 2 倍,但少解出 5 个目标

AI 导读

XBOW 团队在 65 个含漏洞开源 Web 应用上对照测试 GPT-6 Cyber 与 GPT-6.1 Sol,两者共同解出 56 个目标,Cyber 在其中 44 个上更快、通常约为 Sol 耗时的一半。

推荐理由

XBOW 用 65 个含漏洞 Web 应用对照两款模型,给出速度、成本与覆盖面的取舍数据。

正文

GPT-6 Cyber 发布两天后,一组来自 OpenAI 之外的量化对比数据出现了。北京时间 11 月 7 日中午,XBOW 创始人兼 CEO Oege de Moor 在 X 帖串和同日稍晚的 LinkedIn 帖子里公布了团队自建的对照测试:在 65 个含漏洞的开源 Web 应用上,OpenAI 的 GPT-6 Cyber 与 GPT-6.1 Sol 共同解出 56 个目标,Cyber 在其中 44 个上耗时更短,通常约为 Sol 的一半。同一组数据也写明了另外两面:成本上,找到 50% 的漏洞利用,Cyber 要花约 17 美元,Sol 只需约 1 美元;覆盖上,Cyber 解出的目标 Sol 全都解出,Sol 还多解出 5 个 Cyber 未能解出的目标。

GPT-6 Cyber 是 OpenAI 11 月 5 日发布的网络安全专用模型,OpenAI 自报它在 ExploitGym(要求模型远程利用指定漏洞的基准)上得分 48.5%,高于前代 GPT-5.6 Cyber 的 32.1%(SecurityWeek 11 月 6 日的报道),并在自家 Preparedness Framework(危险能力评级框架)里评为最高风险档 Critical(Notebookcheck)。公开报道中的这些成绩此前全部是 OpenAI 单方口径;XBOW 的测试则提供了 OpenAI 自报数字之外的一组外部量化对照。

OpenAI 自报的 ExploitGym 成绩对比柱状图:GPT-6 Cyber 48.5%,GPT-6 Astra(Daybreak Blue)42.4%,GPT-5.6 Cyber 32.1%,GPT-5.6(Daybreak Blue)30.3%

对照的搭建:同一批目标,两个模型各自计时

de Moor 的帖串以一个问题开场:「OpenAI 的新模型 GPT-6 Cyber 攻 Web 应用,是不是比 GPT-6.1 Sol 更强?」他和 XBOW 团队把两个模型放上同一批含漏洞的开源应用,目标覆盖 RCE(远程代码执行)、XSS(跨站脚本)、SSRF(服务器端请求伪造)、SQLi(SQL 注入)等类型;附图的散点图以两个模型各自的实际运行时间(图上标注 active wallclock)为横纵轴,每个点是一个目标。这项测试由 XBOW 团队自行开展,OpenAI 未参与。

速度结论落在第二帖:「GPT-6 Cyber 快得多。在两个模型都解出的目标里,Cyber 有 56 次机会、44 次更快,通常约 2 倍」(X 帖)。

de Moor 帖文附图:上半部分为两模型逐目标耗时散点图,标注共同解出 56 个、仅 Sol 解出 5 个、仅 Cyber 解出 0 个、两者均未解出 4 个;下半部分为按花费计的解出率曲线

花费曲线与分项统计:成本、最终解出率与覆盖面

成本是第三帖的主题:「代价是成本。GPT-6 Cyber 需要约 17 美元才能找到 50% 的漏洞利用,Sol 只需要约 1 美元。」(X 帖)他还给出预算拉满后的结果:给足时间,两者最终解出率接近,GPT-6 Cyber 约 86%,GPT-6.1 Sol 约 89%。附图下半部分的曲线图标题为「Success per model: Overall, by dollars used」,标注数据来自「XBOW Model Runtime Evals, 2026-11-06」,除 Cyber 与 Sol 之外还画有 gpt-6 astra 与 gpt-6 luna 两条曲线。

覆盖面的分项统计写在同一张附图里:共同解出 56 个;仅 Sol 解出 5 个;仅 Cyber 解出 0 个;两者都未解出 4 个,合计正好 65。X 帖串下的回复把这笔账挑明,Andy Michaels 写道:「Cyber 从未解出 Sol 漏掉的目标;Sol 单独解出了五个。哪个更好,取决于看哪根轴。」(回复)

de Moor 自己的总结是:「它是个扎实的模型,但对 Web 应用的漏洞发现来说不是一次跨越式变化。」(X 帖)他给出的用法建议同样具体:「速度比成本重要时,用 GPT-6 Cyber;在乎每美元能换来多少发现的广域扫描,用其他模型。」(X 帖)

发帖人画下的边界:只测 Web,方法细节未公开

这条边界是他自己写下的:「OpenAI 打造它是冲着原生/二进制工作去的:内核提权、JavaScript 引擎、逆向工程、远程漏洞利用。不过这次实验我们只测了 Web 漏洞发现的表现,所以我们的分析对那些领域不说明任何问题。」按这一边界,XBOW 测到的速度领先并不触及 OpenAI 为这款模型设定的核心场景。

方法细节则止步于几张统计图。样本如何挑选、两个模型各用什么提示与思考档位、单题预算上限是多少,帖文都没有交代;X 帖串下有回复直接追问:「这两个模型用的是哪一档思考强度?」(回复)LinkedIn 评论区里,评论者 Danish Ali 提出训练数据污染的疑问:「这些都是开源项目,怎么确定训练数据里没出现过它们?」发帖人的身份也需要交代:XBOW 是一家商业进攻安全厂商,这组结果是这家厂商的自建评测,方法未经同行评议。

Web 之外的数字:OpenAI 的自报成绩与访问门槛

XBOW 测的是 Web 面;OpenAI 发布时公布的数字集中在另一面。据 BleepingComputer 11 月 6 日的报道(链接),OpenAI 称 GPT-6 Cyber 在 Linux 内核研究中识别 2,308 个潜在安全缺陷、复现 1,724 个漏洞、写出 948 个本地提权 exploit,并在 Firefox 中发现 81 个此前未知的高危漏洞,Mozilla 已开始推出补丁。XBOW 的测试没有触及这些主张。

访问门槛目前仍未松动:OpenAI 帮助中心的 Daybreak 概览页写明,GPT-6 Cyber 只向 Daybreak Red 组织开放、需对该模型单独批准,经 Responses API 与 Codex 使用;OpenAI 同时计划逐步把访问扩大到全部 Daybreak Red 客户。Notebookcheck 汇总的配套控制包括默认 IP 白名单、凭据被盗迹象监测,以及拒绝协助针对电厂、水处理设施与工控系统的攻击。de Moor 在回复提问时确认,XBOW 这次用的正是 Red 档 (回复)。

这些自报数字至今没有独立复现的下文;de Moor 圈出的原生/二进制场景——内核提权、JavaScript 引擎与逆向工程——同样在 XBOW 的测试之外。对照与主张之间,目前还隔着独立复现这一步。

参考链接

本文由 AREX Agent 基于公开网络信源自动整合梳理。
AI 可能存在信息遗漏、时序偏差或事实误判。文中观点与事实请结合文末原始链接交叉核验,请勿直接作为决策依据。

内容中包含的图片若涉及版权问题,请及时与我们联系删除

来源:智源社区 · hub.baai.ac.cn