Antithesis 提出确定性模拟测试应适用于所有应用
来源标题:Deterministic Simulation Testing Is for Everyone
Antithesis 推出确定性模拟测试(DST),主张该技术不应只用于分布式系统,而应适用于所有应用的日常测试。文中指出,自动化测试的动机在于提前发现缺陷、避免用户遭遇问题,DST 可帮助开发者在开发阶段主动预防缺陷,减少反复决策带来的疲劳。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
确定性仿真测试常被视为只适用于分布式系统。我认为它是一种适合所有人、所有应用的测试技术。 为什么我们在构建软件时要使用自动化测试? 我们测试是因为我们希望内部发现问题,而不是让用户替我们发现(用户甚至可能根本不会报告)。 我们以反应式的方式这样做;当发现实现缺陷时,我们会编写一个我们认为对应该缺陷的失败测试,并修改系统使测试通过。如果该缺陷不再能复现,我们就向自己证明了该测试确实对应该缺陷,并保留该测试以防止进一步的回归。 我们也可以防御性地这样做;预测缺陷可能出现的位置和类型,并用测试作为护栏,确保它们在开发过程中不会出现。 我们测试是因为我们饱受自我怀疑的困扰。 怀疑我们做出的每一个开发决策令人精疲力竭。这个功能能加吗?这个依赖能去掉吗?这些模块能重新排列吗?这一切能在不破坏已有功能的前提下完成吗?反复质疑会带来决策疲劳。怀疑会扼杀生产力。如果我们确信机器正在替我们检查这些,那么我们的信心就会增长。 我们测试是因为我们应该测试,就像小孩子刷牙一样——他们可能看不到意义所在,但他们知道如果不刷,别人会让他们的日子不好过。 在测试驱动开发中,每一段代码之前都必须有一个失败的测试。在 TDD 下编写测试是因为没有测试就什么都写不了。因此,这些测试往往数量众多、脆弱、数量繁多、效用有限且数量庞大。义务是一种外部压力,如果这种外部压力消失了(即资深的 TDD 倡导者离开了公司),义务也随之而去。 我认为由义务驱动的测试流程效用有限。 一个测试的效用可以从三个维度来评估。 测试有一定的范围。这个范围可以小到单个函数,大到整个程序。范围越大,我们能推理出的性质就越有意义。如果范围足够大,性质就开始与需求对应;也就是说,我们可以测试与现实世界相关的东西。 一个测试会被运行很多次。一个非确定性或“不稳定”的测试,即使 SUT、测试逻辑和测试种子保持不变,也可能产生不同的结果。这样的测试对开发者来说极其令人沮丧——如果测试不能产生一致的结果,他们怎么能判断一个缺陷是否被修复了? 如果一个测试是确定性的,那么相同的代码配合相同的测试将返回相同的失败。始终如此。 在一些测试中,具体的示例由程序员构思,针对特定的状态或响应进行测试。在另一些测试中,SUT 的输入以声明式的方式描述并随机生成,这样每次运行都会生成多个不同的示例。这让我们能够探索更大的状态空间。我们称这些测试为彻底的。 不同的测试方法提出不同种类的问题: 不同的测试方法可以根据上述标准进行分析: 在上述分析中,确定性仿真测试(以下简称 DST)脱颖而出。那么它是如何工作的呢?简而言之,它们将仿真环境与确定性机器结合在一起。让我们详细看看这些术语。 整个程序,也就是 SUT,是一台确定性机器。这意味着它是单线程的(或至少是确定性调度的),并且不进行直接的 IO 调用;因此你得到的是输入驱动的确定性状态机,对于相同的输入,每一次都会做出相同的状态转换。 如果你对如何做到这一点感兴趣,请参阅我之前关于围绕确定性核心设计程序的文章。 环境是仿真的。这包括与确定性机器共享的所有相关现实世界现象,例如: 仿真环境将非确定性的来源转变为确定性的东西。给定相同的种子,仿真环境总是产生相同的输出。它还允许你调高混沌程度:奇怪的输入、故障和“永远不会发生”的巧合都可以被调高。一个好的仿真是对环境中我们无法控制的部分放大其狡诈性的一种练习。 通常测试本身就是一个独立的可执行文件。提供一个种子,使用仿真环境和确定性机器运行一个测试循环,每次循环都检查性质是否成立。如果某个性质不成立,循环退出,可执行文件返回失败的种子。这使得错误可复现。 一些 DST 实现像游戏循环一样运作,使用 tick 来模拟时间;正如“游戏内”的一天可能需要 24 分钟真实时间来代表 24 小时游戏时间,一个仿真测试可能经历 1 个月的仿真时间,但在一小时真实时间内完成。其他的则将测试过程中的推进建模为离散事件,从一个事件跳到下一个。无论哪种情况,由于所有网络和存储延迟都是仿真的,测试永远不需要真正等待,事情可以比在真实环境下推进得快得多。这最小化了“到缺陷的时间”,实际上是压缩了时间,并比它们在生产环境中自然出现所需的时间快得多地暴露问题。 当人们想到 DST 时,会想到几个产品:Dropbox、FoundationDB、TigerBeetle、Turso;这些都是非常聪明的系统工程项目,由本质上是巫师的人所打造。 但从概念上讲,所有软件程序都有一个环境和一个机器。如果你让机器具有确定性,并为环境定义一个接口以便它可以被仿真,那么你就可以做 DST。 以下是一些 DST 如何应用于不同类型软件的示例:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。