
GitHub与微软试点MDASH:向开源项目提交99份经核实的AI修复报告
来源标题:Maintainers don’t need more AI bug reports. They need fixes.
GitHub与微软用多模型扫描工具Codename MDASH开展试点,将数千条原始AI发现筛选为99份经核实的私密报告,附带修复建议,提交给六个广泛使用的开源项目。维护者已据此修复了部分问题。双方强调,向项目提交AI发现前应先征得维护者同意,并附带修复而非仅报告问题。
以下正文由 AI 翻译自 GitHub Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 让发现潜在漏洞变得又快又便宜。但修复漏洞仍然需要人的判断,而在开源世界里,这项工作落在了维护者身上。许多维护者已经被 AI 生成的安全发现淹没,其中还包括重复项以及根本算不上漏洞的报告。再给他们一份原始扫描结果,对他们毫无帮助。任何想用新模型扫描某个项目的人,都应该先征求维护者的意见,并且带着修复方案来,而不只是发现问题。
维护者正承受着这波报告洪流的巨大压力。正如 Log4j 的维护者 Christian Grobmeier 所说,防御开源的 AI 必须比攻击它的 AI 更强。
AI 不应该增加维护者的工作量。因此,GitHub 和 Microsoft 与维护者一起开展了一项试点:AI 能否帮助维护者交付修复,而不是给他们更多发现?
GitHub 和 Microsoft 正在使用 Codename MDASH——Microsoft 的多模型智能体扫描工具——来发现并修复广泛使用的开源软件中的安全漏洞,从而加固世界上大量代码所依赖的基础。
流程
我们的试点有两个目标:只发送真正重要的发现,并且绝不向维护者发送未经核实的发现。具体流程如下:
- 发现。Codename MDASH 是来自 Microsoft Security 的 AI 系统,它使用 Microsoft 的 MAI Cyber 模型扫描每个项目,并针对发现的问题提出修复建议。
- 过滤。来自 GitHub Security Lab 的 AI 分诊智能体基于定制的 Copilot 技能构建,负责去除重复项、检查有效性,并聚焦于高影响漏洞,这样维护者就无需审阅原始扫描结果。
- 验证。来自 Microsoft FORGE Lab 的研究人员逐一人工检查了所有剩余的发现。
- 私下报告。报告通过 GitHub 私有漏洞报告功能送达维护者,并附上概念验证和修复建议。
- 修复。由维护者决定修复什么、如何修复以及何时修复。
报告和修复都留在 GitHub 上,也就是维护者原本就在工作的地方。
结果:Codename MDASH 使用 Microsoft 的 MAI Cyber 模型,在六个项目中标记了数千个可能的问题。经过 AI 分诊和七名 Microsoft FORGE Lab 研究人员的人工审核后,维护者收到了 99 份私有报告。截至 11 月 15 日,他们已修复 55 个,其中 14 个修复已经包含在发布版本中。
参与项目
共有六个项目参与,它们都是 GitHub Secure Open Source Fund 的校友项目。它们的维护者同意进行扫描,私下收到了每一份报告,决定修复哪些问题,并分享了哪些做法有效:
- AutoGPT,一个 AI 智能体平台
- Caddy,一个 Web 服务器
- Express,一个 Node.js Web 框架
- FastMCP,一个用于构建 MCP 服务器的框架
- ImageMagick,图像处理软件
- Netty,一个 Java 网络框架
我们的收获
这些经验来自这六个项目修复的内容以及其维护者选择分享的内容。六个项目只是一个小样本,因此请将它们视为早期经验。
1. 修复比发现更重要
修复才是维护者花时间的地方。因此,每一份报告送达时都已经过检查,并附有可供审阅、调整和合并的修复建议。维护者从一个范围明确的补丁开始,而不是一条原始发现。
首批修复在初始扫描后大约一周内交付。Caddy 的维护者在一周或更短时间内修复了他们收到的全部 22 份报告。维护者使用了建议的修复,有些直接照用,有些则做了修改。
AutoGPT 的维护者最近发布了一项新检查,但它是坏的。报告在三天后送达,并指出了正确的代码行。他们在建议补丁的基础上做了进一步改进,一天内写完,不到一周就投入了生产环境。
发现漏洞不再是我们的瓶颈。修复才是困难的部分,而这取决于维护者。
Netty 维护者
2. Codename MDASH 结合研究员审核,为维护者提供了带修复的高质量发现
维护者收到的是一份简短的清单,而不是洪水般的报告。Express 的维护者表示,这些报告穿透了噪音。Caddy 的维护者表示,这些报告揭示了冷门漏洞,并填补了此前报告遗漏的空白。对于 FastMCP 来说,这次扫描超出了此前 AI 扫描器所能提供的范围。由两人团队维护的 ImageMagick 收到了 22 份报告。
AI 负责发现,研究员负责检查,维护者始终掌握决定权。
一份 ImageMagick 的报告看起来像是维护者以前见过的那类问题。但报告的摘要表明并非如此,并指出了确切的代码行。他们得以在 15 分钟内推送了修复。
通常,一份安全公告平均需要我们花大约 30 分钟到 1 小时来阅读、理解并制定修复方案。这差别太大了。
ImageMagick 维护者
Codename MDASH 能够以简洁的报告发现我们项目中未知的、冷门的安全漏洞,并填补了此前一些报告中被忽略的空白。
Caddy 维护者
3. 开源仍有差距需要弥合
试点之所以有效,是因为人们在每一步都做了细致的工作,而这种工作目前还无法规模化。七名研究人员每个项目花了大约两天时间人工检查发现。与此同时,低质量的报告仍然每天都在涌向维护者。
对于开源来说,修复需要通过私有漏洞报告(PVR)来交付。维护者需要在私有 fork 上运行 CI/CD 测试来验证这些修复。而为了缩小防御者与攻击者之间的差距,维护者需要能够访问具备网络安全能力的模型,以便在修复前后验证概念验证。
Codename MDASH 的扫描为我们项目的安全性提供了独特的洞察,超越了以往 AI 扫描器所提供的内容。
FastMCP 维护者
为什么这很重要
如果你是维护者,这种方法改变了一份安全报告给你带来的成本。一份经过检查、私下送达并附带修复建议的报告,会占用你更少的时间。你不应该去分诊扫描器的输出。那是发送方的工作。
如果你使用 AI 来发现开源中的漏洞,维护者的反馈指向这样一个标准:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。