
开发者发布 dead-tests 工具,可检测永不运行或永不失败的测试
来源标题:Show HN: dead-tests finds tests that never run or can never fail
开发者推出 dead-tests 静态扫描工具,能找出被同名覆盖、永不执行或断言永远无法触发的测试代码。该工具覆盖 Python、Java、Go、Rust、JS/TS 等语言共 22 项检查,每项检查为单文件、仅依赖标准库实现。用它发现的问题修复已在 vuejs/core 等项目中合并。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
找出那些看起来像在提供覆盖率、却永远不会失败或根本不会运行的测试。 这个文件里有三个测试。pytest 会运行其中两个,而这两个里有一个包含永远不会执行的 assert: import pytest from shop import parse_price def test_parse_price(): assert parse_price("$4.20") == 4.20 def test_parse_price(): # 同名,因此这个定义会替换掉上面的测试 assert parse_price("$0") == 0 def test_rejects_garbage(): with pytest.raises(ValueError): parse_price("four dollars") assert parse_price("$1") == 1 # 永远不会执行:上一行已经抛出异常 $ pytest -q .. [100%] 2 passed in 0.00s $ deadtests scan .
shadowed-tests
-- 1 shadowed test(s) from 1 test file(s) tests/test_prices.py:10: <module>.test_parse_price shadows line 6 [module-scope]
dead-pytest-raises
-- 1 provable hit(s) from 2 python file(s) tests/test_prices.py:17: test_rejects_garbage: assert after raises(ValueError) (输出中已裁掉没有发现问题的检查项。) docker run --rm -v "$PWD:/src" ghcr.io/dylanpulver/dead-tests 覆盖 Python、Java、Kotlin、C#、PHP、Ruby、Go、Rust 和 JS/TS 的 22 项检查。每一项检查都是一个只依赖标准库的单个文件,你坐下来就能读完。用这些检查找到的修复已经合入 vuejs/core、laravel/framework、symfony、pydantic 和 jackson-databind,完整列表见下文。 一个没有 @Test 注解的测试照样能编译,留在测试套件里,读起来像是一项检查。但 JUnit 5 永远不会收集它。pytest.raises 里抛出异常那行之后的 assert 永远不会被执行到。第二个 def test_area 会静默地替换掉第一个。没有 matcher 的 expect(x) 什么也验证不了。这些情况全都会一直保持绿色,没有任何 runner 或默认 linter 会吭一声。 详细说明,以及已经合入上游的修复:The tests that pass because they never run。 用 Docker,针对当前目录: docker run --rm -v "$PWD:/src" ghcr.io/dylanpulver/dead-tests 或者从代码仓库检出后运行,需要 Python 3.12+(以及 Go,用于那项 Go 检查): git clone https://github.com/dylanpulver/dead-tests ./dead-tests/deadtests scan path/to/repo ./dead-tests/deadtests run shadowed-tests path/to/repo ./dead-tests/deadtests list scan 会检测目录树里的语言,并运行所有适用的检查。 在拉取请求上,它会在 diff 中就地标记死测试,且只标记该 PR 修改的文件,这样旧的发现永远不会落到别人的 PR 上: on: pull_request jobs: dead-tests: runs-on: ubuntu-latest steps:
- uses: actions/checkout@v4
- uses: dylanpulver/dead-tests@v1 输入参数全部可选: GitHub 在 diff 上每个 step 最多显示 10 条警告。完整列表在 job summary 里。Go 检查需要 runner 上装有 Go,GitHub 托管的 runner 都有。如果没有,这项检查会被跳过并给出提示。 scan 和 run 支持 --format sarif,会输出 SARIF 2.1.0 而不是文本,每项检查对应一条 rule。文本输出会写到 stderr,所以你仍然能看到它。 ./dead-tests/deadtests scan --format sarif . > dead-tests.sarif 在 Action 里设置 sarif-file,把文件交给 GitHub code scanning。之后发现项就会像其他 code scanning 告警一样出现在 Security 标签页和拉取请求上。无论 changed-only 怎么设置,SARIF 文件都会包含所有发现项,因为 code scanning 会自己做 diff 过滤。 permissions: contents: read security-events: write steps:
- uses: actions/checkout@v4
- uses: dylanpulver/dead-tests@v1 with: sarif-file: dead-tests.sarif
- uses: github/codeql-action/upload-sarif@v4 with: sarif_file: dead-tests.sarif category: dead-tests 检查项 检查项 语言 发现内容 shadowed-tests Python 后面出现同名 def,导致 pytest 永远不运行第一个 uncollected-py-tests Python 按名称看 pytest 永远不会收集的带断言函数 uncollected-py-files Python 整个测试文件落在 python_files 模式之外 dead-pytest-raises Python pytest.raises 内可证明不会执行的 assert dead-assertions Python pytest.raises 中抛出调用之后的 assert(更宽泛的线索列表) discarded-raises Python 永远不会执行的 assertRaises、pytest.raises 和 mock 断言 swallowed-exceptions Python 捕获异常、pass 且不做任何断言的测试 vacuous-assertions Python 把值与自身比较的断言 missing-await Python 同文件协程被调用却没有 await stale-version-gates Python 在所有受支持的 Python 版本上都为真的 skipif 条件 dead-version-shims Python 永远不会执行的 sys.version_info 分支 uncollected-java-tests Java JUnit 5 无法收集的 testFoo() 方法 uncollected-kotlin-tests Kotlin 缺少 @Test 的 JUnit 和 kotlin.test 函数 dead-junit4-expected Java 被 @Test(expected=...) 变得不可达的 assert uncollected-dotnet-tests C# 缺少对应特性的 NUnit 和 MSTest 方法(xUnit 会自行警告) uncollected-php-tests PHP 永远不会被收集的 PHPUnit 方法 dead-php-assertions PHP PHPUnit 中抛出异常的调用之后的 assert uncollected-ruby-tests Ruby 永远不会运行的 minitest 方法 uncollected-go-tests Go go test 永远不会运行的 Test 函数 dead-go-statements Go t.Fatal 或 t.FailNow 之后的语句 uncollected-rust-tests Rust 没有 #[test] 的测试形函数 matcherless-expects JS/TS 没有 matcher 的 Jest 和 Vitest expect(x) 逐条阅读每个命中结果 这些工具是线索生成器,不是绝对的判据。没有注解的测试可能是一个故意搁置的用例。自我比较可能是对某个会重新计算的属性的确定性测试。每个扫描器的 docstring 都列出了它在真实代码中遇到过的误报形态,以及它过滤掉了哪些,所以在信任结果之前先读一读文件。 还有一点值得知道:我复活的前 11 个死测试中,有 2 个在第一次运行时失败了。一个从未运行过的测试从未被保持更新,所以启用它可能会暴露一个真实的 bug 或过时的预期。在提交任何东西之前,先运行复活后的测试。 已合入他人依赖项目的修复:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。