
Spirolo 发布用 Rust 编写的 JS/TS 测试套件静态分析工具
来源标题:Show HN: Static analysis for JavaScript/TS test suites, written in Rust
Spirolo 推出用 Rust 编写的静态分析工具,可在不运行测试的情况下检查 JavaScript 和 TypeScript 测试套件是否真正有效。该工具扫描了 11 个开源项目中的 53,372 个测试,发现 748 处问题,并检出 200 个重复测试。它读取文件和 CI 配置,能快速集成到每次代码变更中运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
⌘K 搜索
Advisory alpha · JavaScript 和 TypeScript 测试套件
通过的套件只能告诉你测试跑过了。Spirolo 会读取整个测试套件,包括其 setup 文件和 CI,并指出哪些通过并不能证明任何东西。它从不运行你的测试。
复制
$npx spirolo check复制
安装与首次运行
52 条发现
在 11 个开源项目中发现了 748 条问题。
一个 agent 可以在一个下午加上几百个测试,而且全部显示绿色。审查者不可能把它们全都读一遍,CI 也只报告它们通过了。验证必须跟得上这个量级。
用 Rust 编写。它读取了 11 个项目中的 53,372 个测试,速度足够快,可以在每次变更时由每个 agent 运行。
它只读文件,因此不需要浏览器、不需要数据库,也不需要再跑一次测试。它发现的 200 个重复测试,就是 CI 重复花费的时间。
agent 可以在编写的同时调用同一项检查,在任何人审查之前就修好一个薄弱的测试。
setup 对 console 错误或泄漏的 mock 没有任何防护,导致测试本该失败时却能通过。当没有人逐条阅读测试时,合并门禁就必须承担起这个责任。
Ratchet 一次之后,CI 只会因新增问题而失败。不需要先做清理项目,每一批新测试都符合同一个标准。
同样的代码,同样的报告,每次运行都一致。没有模型,没有网络:你的代码留在你的机器上,测试也不会由写它们的同类工具来检查。
每条规则都有公开的评分;全部 16 条都在规则页面上。
如果代码是错的,这个测试能发现吗?
当 itemCount 为 0 时隐藏条目计数标签
当 index 为 -1 时应保持关闭
%s 日应被隐藏
不渲染未访问过的懒加载标签页
不应显示上一个按钮仅断言 DOM 不存在
当 hideSearch 为 true 时隐藏搜索输入框
未提供 options 时不渲染搜索栏
非自定义的 leftItems 在 children 中不渲染任何内容
当 kind 不是 inline 时不应填充 textLabel 属性
当 layout="vertical" 时不渲染水平修饰符
未使用 Link.Preview 时,不渲染 LinkNativeView、LinkNativePreview 和 LinkNativeTrigger
当 itemCount 为 0 时隐藏条目计数标签
当 index 为 -1 时应保持关闭
%s 日应被隐藏
不渲染未访问过的懒加载标签页
不应显示上一个按钮仅断言 DOM 不存在
当 hideSearch 为 true 时隐藏搜索输入框
未提供 options 时不渲染搜索栏
非自定义的 leftItems 在 children 中不渲染任何内容
当 kind 不是 inline 时不应填充 textLabel 属性
当 layout="vertical" 时不渲染水平修饰符
未使用 Link.Preview 时,不渲染 LinkNativeView、LinkNativePreview 和 LinkNativeTrigger
合并门禁136 处缺失防护
一个坏掉的测试真的能阻止合并吗?
mock 重置console 防护未处理的请求全局 servermain
mock 重置console 防护未处理的请求全局 servermain
未使用的测试200 个重复测试
哪些测试没有提供套件尚未检查的任何东西?
哪些测试可能这次跑通过、下次跑失败?
50 毫秒expect(Date.now() - start).toBeLessThan(50)
50 毫秒expect(Date.now() - start).toBeLessThan(50)
健康度实验性
每份报告都以一个百分制的暂定健康分开头。每个类别按其存在发现的对象所占比例扣分,每个类别设有扣分上限,默认视图之外的规则按一半计算。这是一个用于长期观察的摘要:没有任何门禁依赖它,机器可读格式也不包含它。
一个通过的套件建立在四层之上。大多数团队只检查第一层,就以为自己拥有了其余几层。其中两层没有任何工具。它们合在一起就是缺失的那一层,而 Spirolo 正是在那里查看。
测试文件内部的错误
由 ESLint 测试插件检查
没有断言的测试、被聚焦的测试、未 await 的查询。
由 Spirolo 检查· 没有其他工具检查
console 错误、泄漏的 mock 或未匹配的请求,究竟会让测试失败,还是悄悄让它通过。
变异测试会植入小 bug 并重跑套件,看是否有测试能发现。很彻底,但在大型套件上很慢:每植入一个 bug 就要跑一次。
由 Spirolo 检查· 没有其他工具检查
匹配不到任何真实导出的 mock、没有任何东西证明渲染确实发生过的存在性断言、无人跟踪的跳过、从不真正起作用的门禁。
目前还没有任何规则被证明可靠,所以默认视图保持谨慎:一条规则只有在至少 15 条抽样发现已被判定、且其中至少 80% 为真时才会显示。其他规则仍会运行,--all 会显示它们并加以标注。规则如何衡量。
你的测试是生产前的最后一道检查。在 11 个热门开源项目中,它发现了 748 条问题,每个项目只需几秒即可读取完毕。先安装你项目的依赖,然后从根目录运行它。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。