Collinear AI 发布 CWE-bench v2，公开 100 项安全漏洞任务

CWE-bench v2：更广覆盖、更高质量、更透明

返回文章 a]:hidden"> CWE-bench v2：更广覆盖、更高质量、更透明 已发布 2026年11月3日 在 GitHub 上更新 点赞 - Gonzalo Gonzalez chalo2000 关注 collinear-ai Ajay Jagannath ajayjagan2511 关注 collinear-ai Nazneen Rajani nazneen 关注 collinear-ai Nathan Habib SaylorTwift 关注 :last-child]:mb-0"> 结果 从 Hub 运行 CWE-bench 旨在测试前沿网络能力的极限。在 Collinear AI 持续拓展边界的过程中，CWE-bench v2 公开了一套包含 100 个任务的集合，任何人都可以运行并评估自己的模型。设置与之前相同。Agent 会获取一个真实开源仓库的检出，并收到一段简短指令，目标是在不破坏现有功能的前提下发现并修复一个安全弱点。评分完全程序化，因此结果是确定性的，任何人都可以复现，且无需额外成本。我们所有的程序化检查都是在 LLM 评审小组的帮助下精心策划的，使其朝着难度与公平性的方向调整。我们还维护了一个留出集，以便持续跟踪模型从未见过的任务上的进展。要在留出集上评估你的模型，请联系 cyber@collinear.ai。 我们的目标是做到穷尽。防御者必须预判攻击者可能的入侵方式，并且每一次都要做对。这 100 个任务覆盖 91 种不同的 CWE，横跨广泛的漏洞类别。在这里表现良好的模型必须理解潜在攻击者可以利用的多个弱点面。仅仅识别熟悉的模式是不够的。 作为我们持续改进质量的细致努力的一部分，我们对每个任务都检查了以下问题是否成立： 每个任务还经过了人工审查。开源该集合也是改进质量同一努力的一部分。我们欢迎对任何任务的反馈，以及对公开集合的贡献。 结果 结果在 Hub 上的两个地方跟踪。CWE-bench 数据集页面上的排行榜覆盖开放权重模型，并会自动更新：实验室和社区通过在模型仓库上提交带有结果文件的 PR 来添加结果（如何操作）。如需完整对比，包括仅 API 的模型如 Gemini、Claude 和 GPT，请参见 CWE-bench 排行榜 Space，新模型通过在该 Space 上提交 PR 来添加。 开放权重模型，来自数据集页面： 所有已评估模型，包括仅 API 的模型： 在已评估的 11 个模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先，略高于 Claude Opus 5.5（67.3% pass@1，78.0% pass@4）。95 个任务至少被一个模型解决，这表明这些任务确实可解。然而，即使是领先者在每次尝试中也会失败 19% 的集合，因此长尾远未解决。公开集合、评分器和测试框架都是开放的。运行你的模型，告诉我们它处于什么位置。 在成本方面，DeepSeek V4.1 Flash（1017）、Claude Opus 5.5 和 Gemini 4 Argon 构成了帕累托前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 以 1.83 美元增加十个点，Gemini 以 3.92 美元略微领先。 从 Hub 运行 每个任务都是一个自包含的 Harbor 任务（一个 Docker 化环境、一条指令和一个确定性验证器），数据集附带一个 registry.json。因此，Harbor 可以直接从 Hugging Face 仓库运行整个基准测试，无需你自己克隆任何东西： harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4
--agent <agent> --model <model> --env docker
--allow-agent-host <model API host> -k 4 表示每个任务运行 4 次尝试，报告的分数是所有 400 次试验的平均奖励。数据集是门控的：请先在数据集页面上接受其访问条件。Harbor 使用 git 获取任务，因此还需将你的 HF token 保存到 git 的凭据助手中一次： hf auth login --token $HF_TOKEN --add-to-git-credential 这些任务还被标记为 rl-environment：相同的环境和验证器可以为训练防御性 Agent 提供奖励，而不仅仅是评估它们。 本文提到的数据集 1 collinear-ai/cwe-bench 基准 • 约 8 小时前更新 • 100 • 75 • 5 本文提到的 Space 1 运行中 2 CWE-bench 排行榜 🛡 2 CWE-bench v2 公开集合排行榜