Meta 将 JiTTests 投入生产:用 LLM 生成测试,在风险代码合并前拦截问题
来源标题:Meet Meta’s JiTTests: LLM-Generated Tests Designed to Fail Before Risky Code Lands
Meta 已将基于 LLM 的 JiTTests 系统投入生产,用于在代码合并前生成会失败的测试来暴露风险变更。2026 年上半年该系统在 diff 阶段拦截了 74 个隐私 SEV,工程师自报真阳性率 60%,隐私 SEV 发生率下降 20%。该系统运行在 Meta 数亿行后端代码上,论文分析了 22,126 个生成测试。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型推进到生产基础设施。Meta JiTTests 是一个基于 LLM 的系统,它编写可执行的测试,目的就是在有风险的代码变更上失败。一个失败的测试就是 diff 改变了行为的具体证据。Meta 团队报告称,在 2026 年上半年,JiTTests 在 diff 阶段捕获了 74 个隐私 SEV。该方法在 FSE 2026 研究论文《Just-in-Time Catching Test Generation at Meta》中有详细描述。
TL;DR
- 规模:运行在 Meta 后端代码上,代码量达数亿行。研究论文分析了 22,126 个生成的测试。
- 运行环境:Meta 内部基础设施,利用空闲算力在夜间运行。论文中的评判模型:Llama3.3-70B、Gemini 3 Pro、Claude Sonnet 4。未公开可用。
- 性能:工程师报告在全规模下真阳性率为 60%(自我报告)。
- 最佳表现:2026 年上半年在代码合入前捕获 74 个隐私 SEV;隐私 SEV 发生率下降 20%。
- 最差表现:初始部署时,41 个报告捕获中仅确认 8 个为真(19.5%)。
- 结论:最佳之处在于合入前提供缺陷的可执行证据。最差之处在于仅限内部,且数据为自我报告。
什么是 Catching JiTTests?
Catching JiTTests 是由 LLM 生成的测试,当 diff 引入缺陷时,这些测试应当失败。传统的加固测试在编写时通过,用于防范未来的回归。Catching 测试则针对正在审查中的变更,在其合入之前进行。Meta 在 2025 年的论文《Harden and Catch》中将其细节正式化。 大多数 AI 缺陷工具的作用类似于更快的人工审查者。它们阅读 diff 并留下评论。JiTTests 则不同,它会执行代码并展示具体的行为差异。Meta 团队承认这需要更多的计算步骤。但它认为,这种方法能捕获 LLM 或 agent 审查可能遗漏的缺陷类别。
JiTTests 流水线如何工作?
生产流水线包含 5 个阶段:
- 目标选择:利用空闲算力在夜间运行。它选择前一天的高风险 diff,使用类似于 Meta 的 Diff Risk Score 的机制。
- 测试生成:2 个 diff 感知的工作流生成候选测试(下文详述)。
- LLM-as-Judge 集成:多个 LLM 根据测试代码、失败堆栈、diff 和推断的意图为每个失败的测试打分。
- RubFake:基于规则的假阳性消除环境,增加确定性检查。其规则会标记反射、损坏的 mock 和未实现异常等模式。
- Human-on-the-loop:系统根据综合排名决定是否联系工程师。
Dodgy diff 与 intent-aware:有什么区别?
Dodgy diff 工作流假设每个 diff 都有缺陷。它将 diff 视为其父版本的变异体,并生成能区分两者的测试。 Intent-aware 工作流首先从代码、标题和摘要中推断 diff 应该做什么。它列出风险,为每个风险构建变异体,并编写测试来杀死它们。然后在真实 diff 上失败的测试成为“弱捕获”。
基准测试显示了什么?
研究团队分析了 22,126 个生成的测试。Diff 感知方法产生的候选捕获比加固测试多 4 倍。它们比偶然失败的测试多 20 倍。 Intent-aware 工作流在其 6.4% 的测试和 7.9% 的 diff 上产生了弱捕获。Dodgy diff 的得分是 2.5% 和 4.0%。Meta 早期的 ACH 变异引导加固得分是 0.8% 和 1.6%。基于规则和 LLM 的评估器将人工审查负载减少了 70%。 FeatureCatching JiTTests, intent-awareCatching JiTTests, dodgy diffACH mutation-guidedTestGen-LLM Org / first publishedMeta, 2026Meta, 2026Meta, 2025Meta, FSE 2024 GoalCatch bugs in the diff under reviewCatch bugs in the diff under reviewHarden code against specific fault classesImprove existing human-written tests Generated test shouldFail on a buggy diffFail on a buggy diffPass when generatedPass when generated Aware of the diffYes, infers intent and risksYes, intent-unawareNoNo Weak catches per test6.4% (52 of 811)2.5% (41 of 1,621)0.8% (6 of 754)2.0% (89 of 4,499) Diffs with a weak catch7.9%4.0%1.6%3.6% False-positive filterLLM judge ensemble + RubFake rulesLLM judge ensemble + RubFake rulesNot disclosedBuild, pass and coverage filters Public availabilityInternal onlyInternal onlyInternal onlyInternal only *数据来自 JiTTests 论文的表 1(自我报告,Meta 代码库)。TestGen-LLM 行使用“无需增加覆盖率”设置。弱捕获是候选失败,而非确认的缺陷。
全规模下发生了什么变化?
初始部署规模不大。Meta 向工程师报告了 41 个候选捕获。其中 8 个被确认为真阳性,比率为 19.5%。其中 4 个本会在生产环境中导致严重故障。 2026 年 10 月的工程博客报告了更强劲的生产数据:
- 589 名工程师参与了 JiTTests,占被联系者的 64%。
- 工程师报告真阳性率为 60%。
- 2026 年上半年在 diff 阶段捕获了 74 个隐私 SEV。
- 同期隐私 SEV 总体发生率下降了 20%。
Human-on-the-loop 是什么意思?
Human-in-the-loop 意味着由人审查每一个输出。Human-on-the-loop 意味着工程师设定标准并聚合监控结果。他们在策略层面进行干预,而非针对每个测试。Meta 团队很少需要阅读测试代码。他们只需确认观察到的行为变化是否是预期的。
开发者可以使用 JiTTests 吗?
答案是不行。JiTTests 是 Meta 的内部基础设施。Meta 未发布代码、模型或 API。团队仍然可以复制这一模式:diff 感知的变异引导测试生成、LLM 评判集成、确定性过滤器和聚合式人工监督。
关键要点
- Meta 的 JiTTests 编写旨在让有缺陷的 diff 失败的 LLM 测试。
- 2026 年上半年在合入前捕获 74 个隐私 SEV;隐私 SEV 下降 20%。
- 工程师报告真阳性率 60%,高于论文中的 19.5%。
- Intent-aware 测试的弱捕获率为 6.4%,而 ACH 加固为 0.8%。
- 仅限内部:未发布代码、模型或 API。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。