
亚马逊发布开源工具BenchProofer,为编程基准生成形式化验证
来源标题:BenchProofer: Formally verified coding benchmarks, on demand – Amazon Science
亚马逊推出开源工具BenchProofer,通过为每个基准任务生成形式化规范、参考实现和机器校验证明,来识别能通过测试但存在未覆盖输入缺陷的代码。测试中,该工具标记了Claude Opus 4.8近三分之一通过测试的补丁存在行为偏差,人工复核的41个标记补丁中21个确有真实bug。提供其规范后,Opus 4.8的验证通过率从84.6%升至93.6%,GPT-5.5从79.6%升至94.4%。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享 分享 复制链接 电子邮件 X LinkedIn Facebook Line Reddit QZone 新浪微博 微信 WhatsApp 分享到微信 x 要点 BenchProofer 是 Amazon 新推出的开源工具,它通过为每个任务生成形式化规范、参考实现和机器校验的证明来强化编码基准测试——从而捕捉那些能通过测试但在未测试输入上出错的错误修复。 在测试中,该审计工具发现 Claude Opus 4.8 通过测试的补丁中有近三分之一的行为与参考修复不同。在人工复核的样本中,约一半被标记的补丁(41 个中的 21 个)存在真实缺陷。当向智能体提供 BenchProofer 的规范时,它们获得了更高的验证通过率(Opus 4.8:84.6%→93.6%;GPT-5.5:79.6%→94.4%)。 这个回答有帮助吗? 如今,我们通过统计编码智能体解决了多少基准任务来衡量它们,而判断一个任务是否解决的方式是运行一套测试。但智能体可能通过所有测试,却在没有测试恰好覆盖的输入上出错。 更糟的是,智能体可能学会钻测试的空子,而不是学会解决底层的编程问题。这使得在决策最关键的时候更难信任智能体。企业可能会根据特定评估的结果做出路线图决策。而且随着越来越多公司在后训练流程中使用强化学习,基准测试的结果正日益成为我们训练智能体的奖励信号。不准确的基准测试带来风险:智能体将从错误的结果中学习。 Amazon 新推出的开源工具 BenchProofer 使用自动推理来强化编码基准测试。BenchProofer 利用每个任务的参考解决方案生成形式化规范;用适合形式化验证的语言生成实现;并生成一个证明,表明该实现在所述假设下满足规范。随后由验证器检查该证明,并通过测试和审计检查实现与仓库代码的一致性。 除了该工具,我们还发布了 SWE-Proof,它为 SWE-Bench Verified 数据集中的全部 500 个任务添加了这些规范、实现和证明。 为理解 BenchProofer 的工作原理,考虑一个简单例子。有人提交了一个缺陷报告,说“在列表中查找最大数的函数在某些输入上返回错误答案”。参考修复是一个修正后的 find_max 函数。在普通基准测试中,智能体的修复通过运行几个测试用例来评判;例如,find_max([3, 1, 2]) 应返回 3。如果它通过了这些测试,修复就被视为正确,即使它在某些未测试的输入上会返回错误答案。 BenchProofer 添加的第一个产物是规范,即对正确答案必须做什么的精确陈述,其写法使机器能够检查。对于 find_max,规范会使用 Lean 这样的形式化语言来表达以下要求:“对于任何非空列表,返回的值必须属于该列表,且不得有元素大于它”。 BenchProofer 添加的第二个产物是参考实现,即用验证器能理解的语言编写的实际解决方案。第三个是证明,即逐步论证该实现满足规范。一个名为验证器的工具——Lean 的证明检查器就是一个例子——会自动检查证明,很像编译器检查类型那样。如果证明通过,我们就知道该实现在其覆盖的每个输入上都满足规范,只要证明的假设成立。 BenchProofer 从具有已知解决方案的任务构建已验证实例(上图),并对照发布的正式规范评估编码智能体(下图)。 一旦 BenchProofer 构建了这些产物,我们就可以用它们来评估同一任务的其他修复。升级后的基准测试支持两种评估模式。在审计模式下,你让编码智能体走完基准测试的常规工作流,并收集它产生的仓库补丁。BenchProofer 生成的规范会指导额外的测试,寻找参考实现与通过基准原始测试的补丁之间的差异。 在验证模式下,智能体还会收到规范和验证工具。除了仓库补丁,编码智能体还会产出一个单独的修复实现,验证器可以对照规范检查它。一旦验证器接受证明,我们就得到了一个已验证实现。仓库补丁还必须通过仓库测试。最后的审计检查补丁和已验证实现是否描述相同的行为。因此,一次成功的提交会将通过测试的仓库补丁与修复的已验证实现配对。 要构建你自己的已验证基准测试,请把你自己项目中的编码任务交给 BenchProofer,例如你团队已经修复的缺陷。 BenchProofer 每个任务需要三样东西,而现有基准测试都已经具备。它需要问题的平实英文描述,例如 GitHub issue。它需要一个被认可为正确的参考解决方案。它还需要一种机械方式来检查候选修复,通常是现有的测试套件及其 harness,即设置仓库、应用补丁、运行测试并报告哪些通过的软件。 真实代码库太大,无法端到端验证,因此 BenchProofer 围绕新编写的代码划定边界,只验证这部分。对于新代码调用的每个现有函数,BenchProofer 生成一份简短的契约,它会自动测试——但不验证——这份契约。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。