返回资讯中心
外部精选
软件工程
#开发者实时流

Bosun 在 RepoMod-Bench 上以「证明在环」流程实现 93% 隐藏测试通过率

来源标题:93% on RepoMod-Bench: porting 200K-line codebases with a proof in the loop

Bosun 的 Parity 工作流在 RepoMod-Bench 全部 21 个用例上取得 93% 的隐藏测试通过率,高于论文 Codex 设置的 74% 和最佳公开 agent 的 48%。每个用例运行三次取最佳,其中一个 21.1 万行 C++ 移植通过了全部隐藏测试。证明所发现的差异中有一半是测试从未检查的行为。

Hacker News 最新timonv2026/11/12 · 5 天前24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

所有文章 RepoMod-Bench 上达到 93%:在闭环验证中移植 20 万行代码库 Bosun 的 Parity 工作流在 RepoMod-Bench 全部 21 个案例上的表现,每个案例运行三次。取每个案例的最佳运行结果,93% 的隐藏测试通过,而在相同模型下,论文的 Codex 设置为 74%,最佳公开智能体为 48%;一个 211K 行的 C++ 移植通过了全部隐藏测试。证明所发现的差异中有一半是测试从未检查的行为。方法、局限与完整数据集。 Bosun 的现代化工作流建立在一个赌注上:重写代码库的智能体应当以原程序的行为为准绳,而对该行为的证明值得付出其成本。这里的证明指的是 Parity 证明。我们记录原程序在一组案例上的行为,精确到它写入的文件、启动的进程、交互的服务、副作用和输出,然后针对移植版本重放相同的案例。在我们的方法中,智能体被编排进一个结构化的工作流,在其中评估、编写类似规格的证明、拆分工作、审查并集成。 我们希望公开检验这个赌注,用我们未挑选的代码,由他人评分。RepoMod-Bench 使这成为可能:21 个开源代码库,从 14 行到 211K 行,每个都被移植到另一种语言,并由隐藏测试套件评分。我们在无人值守的情况下对全部 21 个案例各运行三次,并公开了全部 63 次运行的记录、证明和移植代码。对于每个案例,我们报告三次运行中的最佳结果,工作流和对照组皆如此。三个结果: 该工作流通过了 93% 的隐藏测试,在 50K 行及以上的十二个代码库上为 88%。论文的最佳智能体,Opus 4.5 上的 Claude Code,达到 48% 和 20%。这一差距部分来自更新的模型,因此我们在自己的模型上重新运行了论文的 Codex 设置:它达到 74% 和 55%。该工作流总体上增加了 19 个百分点,在大型代码库上增加了 33 个百分点,其中 taskwarrior、verible、qalculate 和 ledger 从 0–69% 提升到 97–100%。 证明所捕获的差异中有一半,隐藏测试并未检查。在证明所发现且智能体修复的 411 处行为差异中,有 205 处是没有任何隐藏测试覆盖的行为。通过全部隐藏测试的移植版本仍有 79 处未解决的差异记录在案,其中包括一个没有 wasm2c 和 wasm-decompile 的 wabt 移植。对于必须合并重写版本的团队,他们得到一份可重放的清单,列出移植版本与原版存在差异的地方。 一个 211K 行的 C++ 计算器,移植到 Go,通过了全部隐藏测试。一次运行耗时约三小时,推理费用为 19 欧元。在全部 21 个案例上,一次运行平均花费 9.50 欧元,耗时两小时。 RepoMod-Bench 要求智能体将每个代码库移植到另一种语言(C++ 到 Rust、Go 到 Python、JavaScript 到 Rust 等),并用源自原项目自身测试的隐藏测试套件对结果评分。论文运行了四个智能体:Opus 4.5 上的 Claude Code 和 OpenCode,GPT-5.2 上的 code CLI 和 OpenCode,每个案例各运行一次,限时四小时。 我们在全部 21 个案例上运行了 Parity 工作流,每个案例三次,使用相同的四小时限制,并全程使用同一个模型:GPT-6.1 Sol。 Sol 比论文所用的模型更新,因此我们还运行了一个对照组:使用论文的 code CLI 设置、相同的命令和提示词,每个案例运行三次,模型从 GPT-5.2 换为 Sol。与论文中一样,Codex 在其默认配置下运行。它有三小时限制,并且使用的 Codex 比论文所用的更新。对照组展示了仅模型本身为论文结果增加了什么。 我们的两行取每个案例三次运行中的最佳结果;论文的各行是其单次运行结果。与论文相比的大部分跃升来自模型:Sol 将论文的 Codex 设置从 30% 提升到 74%。工作流在此基础上又增加了 19 个百分点,在十二个大型代码库上增加了 33 个百分点。为每个案例挑选论文四个智能体中的最佳者,总体为 58%,大型代码库上为 27%。在 25K 行以下没有可增加的空间,因为两种设置在所有九个案例上都通过了全部测试。 该工作流在十个案例上领先,在另外十一个案例上持平。十二个大型移植中有六个通过了全部隐藏测试。结果并不依赖于挑选幸运的运行:在十个案例中的九个(ledger、wabt、taskwarrior、hugo、pdfcpu、uncrustify、prettier、verible、qalculate)上,工作流的最差运行优于对照组的最佳运行。对于 ledger,这是 97% 对 62%;对于 taskwarrior,是 99% 对 69%;对于 qalculate,是 97% 对 64%。lightningcss 是唯一一个分布较宽的案例:根据计划如何拆分,范围为 59% 到 93%。 与论文相比,我们在全部 21 个案例上达到或超过了最佳公开智能体。其中两个案例,pdfcpu 和 uncrustify,被重新评分:它们的隐藏测试会从移植后的目录树内部打开示例文件,而任务并未要求这些文件,因此我们的智能体都没有复制它们。按原样评分,移植版本得分为 6% 和 0%。在示例文件就位后,相同的冻结移植版本通过了 pdfcpu 测试的 82%(论文最佳为 48%)和 uncrustify 测试的 48%(论文的智能体为 0%)。表格和图表使用工作流的重新评分结果。 Bosun 对关键任务软件进行现代化改造:它盘点系统所做的事情,一次迁移一个切片,并在下一个切片开始前对照原版检查每个切片。Parity 是执行检查的工具。你描述案例(一个命令、其输入、其环境),Parity 在审计下针对原版运行它们,并记录它能观察到的内容:stdout、stderr、退出码、程序读写的文件、它启动的进程、它接收的信号、它留下的状态。针对移植版本运行相同的案例,会得到一份带类型的差异清单,每一项都附有原版的记录。证明就是这样一组案例加上记录的预期;它可重放,因此审查者可以稍后再次运行它。 Parity 工作流是 Bosun 现代化流水线所建立的基础,其指向整个代码库而非单个模块。四个动作,反复进行: 我们在三个案例(lightningcss、wabt、hugo)上调整了工作流,通过哈希冻结了清单,然后

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →