
HAProxy负责人谈用AI工具在开源软件中找漏洞的实践
来源标题:On The Use of AI-Based Tools to Find Bugs in Open Source Software
HAProxy首席开发者Willy Tarreau结合自身经验,讨论用AI工具在开源软件中查找漏洞的现状。他指出近几个月收到数百份AI辅助生成的"安全报告",几乎都是同一模式:只称"这里有个bug",既无复现步骤也无补丁。他强调这并非LLM本身的问题,并提到有同事曾用Anthropic的Mythos模型分析HAProxy。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Home HAProxy Technologies / 博客 / 关于使用基于 AI 的工具在开源软件中查找漏洞…… 关于使用基于 AI 的工具在开源软件中查找漏洞 2026 年 11 月 19 日 阅读时长 17 分钟 Willy Tarreau HAProxy 的 Agentic Security,以及当你并不特殊时安全政治的困境 本文是我个人的经验之谈,不代表公司或社区中每个人的想法。 我是 HAProxy 的首席开发者,也是 Linux 内核安全团队的成员。过去几个月里,我看到了数百份 AI 辅助生成的“安全报告”,它们几乎都遵循同样的模式:有人提交“这里有个 bug”,却没有复现步骤,也没有补丁。处理不完整的报告已经成了家常便饭,因为报告者往往根本不知道 LLM 认为自己发现了什么。 然而这根本不是 LLM 的问题。几个月前,一位值得信赖的同事——他可以使用 Anthropic 最强大的模型 Mythos——用它分析了 HAProxy。关键在于,他花时间验证了发现的问题并编写了补丁(顺便说一句,对此表示感谢)。这个模型发现的几个 bug 在深度和复杂度上确实让我印象深刻,我甚至在想,如果没有这样的工具,它们是否会被发现。那次经历让我对模型的实际能力有了信心,也让我看到了它与人类专业知识结合时的效果。 为了帮助应对大量低价值的 AI 报告,我整理了 Linux 内核和 HAProxy 的威胁模型,好让 LLM 能更好地校准严重性,不再拿那些根本不可能发生或没有现实影响的问题浪费大家的时间。这明显降低了两个项目上无聊报告的出现频率(Linux 上还不够,那里有些研究者仍然盯着缺少文档更新的过时版本)。 差不多同一时间,Linux 基金会给了我一份为期六个月的 Claude Max 订阅,用量是 20 倍。我花了一点时间才适应以 agentic 模式工作,但现在没问题了。这个产品本身令人印象深刻,确实强大,而且显然还在不断改进。它能在覆盖整个待审查代码区域的超大上下文窗口中工作,这让人感觉它几乎能看穿墙壁。遗憾的是,这个访问权限不包含 Mythos,后者仍然受到额外的访问限制。 例如,除非你认识“对”的人,否则获取具备真正网络“防御”能力的模型已经变得极其严苛。尽管我完成了 Anthropic 的 Cyber Verification Program(CVP),希望这能解决问题,但它仍然不授予 Mythos 的访问权限。我联系了 Anthropic 的联系人请求访问权限;这个请求显然被认为是合理的,但依然没有任何结果。Anthropic 在不断完善其计划,但每次他们更改流程,就意味着要重新开始,行政负担更重,而且无法保证能获得用于正当防御工作的访问权限。我听说 OpenAI 的 Daybreak 计划也好不到哪里去——在我们安全团队最近几个月的两次申请中,都在其 CVP 更新之前被拒绝,且没有给出任何解释。 访问情况已经有所变化,现在由 Anthropic 提供自助服务,不过在他们自行定义的各个访问层级之间存在着显著的准入门槛。最强大的基于“Mythos”的模型(“Red”访问权限)要求具备经过验证的安全研究员身份,而显然我和我们团队中的任何人都无法满足这一条件。较低的层级则需要经过一套面向企业设计的繁琐身份审批流程(我仍然没能完成),而且只授予能力中等的模型,这些模型会拒绝执行重要的防御任务,比如漏洞利用复现和其他防御性任务。 于是,我们最终获得了两批 Mythos 生成的关于 HAProxy 的报告,每批包含 30 到 50 条,这表明其他人已经在我們不知情的情况下获得了访问权限(除了最初那位同事)。拿到这些报告费了极大的功夫,而这与处理它们所需的工作量相比根本不算什么。 这些报告对开发者来说简直无法使用,满篇冗长的文字挤在超长的单行段落里,没有代码摘录,没有对问题的清晰解释,更不用说复现步骤或修复方案了。它们甚至没有包含所测试构建的 commit ID,所以我们只能靠反复试验来猜测测试的是哪个版本。这非常令人沮丧,因为模型以高置信度提出了一个发现,却不太愿意高效地沟通,因为并没有人要求它这么做。这真的让人怀疑 Anthropic 是否了解开发者是如何工作的、需要什么。 由于我们没有该模型的访问权限,我们调整了工作流程,让它的小兄弟 Opus 4.8(我们当时能用的模型)来解读这些报告并提出修复方案。效果还算不错,不过由于缺少复现代码,很难区分真正的缺陷和误报,也就难以验证所提补丁的相关性和有效性。考虑到在报告共享之前所有推理上下文都已丢失,Opus 无法重建所有交互过程或 Mythos 观察到的一切。尽管如此,这套精简后的工作流程让我们能更高效地工作,并在按照我们的标准、偏好和长期目标重新修改后,合并了大约三分之一的建议修复。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。