返回资讯中心
外部精选
软件工程
#开发者实时流

确定性模拟测试如何解决分布式系统测试难题

来源标题:Deterministic Simulation Testing

分布式系统因部分故障与实时流量交织、同一故障在不同运行中产生不同执行轨迹而难以测试。确定性模拟测试通过用单线程执行循环驱动的模拟组件替代真实时钟、网络和存储来解决这一问题,可模拟硬故障和网络磁盘延迟尖峰等常规减速,并使每次执行可复现。文章以法定人数键值存储为例,结合 Java 实现 Tickloom 的代码进行说明。

Hacker News 最新sidcool2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

分布式系统之所以难以测试,是因为部分失效与在线流量相互交织,同一个故障在不同运行中可能产生不同的执行轨迹。确定性模拟测试通过用模拟组件替代真实的时钟、网络和存储,并由单线程执行循环驱动,从而解决了这个问题。这样一来,既可以模拟硬故障,也可以模拟日常的变慢——比如网络和磁盘延迟尖峰——更重要的是,它让每一次执行都可复现。本文以一个法定人数键值存储作为贯穿示例来解释这一技术,代码取自 Tickloom,这是该方法的一个 Java 实现。

Unmesh 是 Thoughtworks 的杰出工程师,常驻印度浦那。他是《分布式系统模式》一书的作者。

分布式系统以难以测试而闻名。我们经常听到这样的故事:在架构良好、经过大量测试、已在生产环境可靠运行多年的系统中,仍然会出现隐蔽的 bug。例如,Jepsen 测试套件就经常在久经考验的成熟数据库中发现严重的一致性违规和脑裂场景。

如果我们有健壮的 CI/CD 流水线、广泛的测试覆盖率和严格的代码评审,为什么这些 bug 还是如此难以在生产环境之前被捕获?答案在于我们测试软件的方式与分布式系统实际运行环境之间的根本性错配。

单元测试孤立地验证局部逻辑。集成测试验证组件之间的交互。但两者都无法证明当系统的一部分在请求处理过程中发生故障时,客户端会观察到什么。端到端场景测试在集成所有组件的情况下测试系统,但重点主要是验证功能并遵循正常路径。当标准集成测试确实模拟故障时,它们通常测试的是干净的、可预期的场景——比如优雅地关闭一个数据库节点。但在分布式架构中,最难的 bug 并不存在于孤立的组件内部;它们存在于组件与基础设施之间不可预测的交互中,在那里部分失效与在线流量相互交织。

当系统是分布式的时候,我们关于完美环境的假设就崩塌了。正如经典的“分布式计算的谬误”所警告的,网络并不可靠,延迟永远不为零,拓扑结构也在不断变化。分布式系统会遭受部分失效。系统的一部分崩溃或挂起,而系统的其余部分继续运行,导致对集群状态的认知相互冲突。

在生产环境中,组件很少干净地失效。一个节点不会只是干净地断开连接;它会异常运行,引入微妙的异常。网络不会干净地分裂成两个隔离的部分。相反,它会遭受非对称路由、选择性地丢弃一小部分数据包,或者把特定消息延迟刚好足够长的时间,以至于在一个节点上触发超时而在另一个节点上却没有。一个进程不一定会崩溃。相反,它会在 JVM 上经历 Stop-The-World 垃圾回收暂停,或者 CPU 节流。这个暂停持续的时间刚好足以造成糟糕的消息交错,导致节点错过一次共识心跳,结果几秒钟后它醒来时完全不知道自己曾经被暂停过。磁盘不会完全失效。相反,它会经历局部延迟尖峰——同步预写日志(WAL)需要 500ms 而不是 2ms——或者它静默地损坏几个扇区,而不导致完全的硬件故障。

这些灰色故障恰恰制造了导致健壮系统崩溃的事件交错。标准测试根本无法按需创建这些高度特定的降级条件。

为了迫使这些难以发现的失效模式浮现出来,常用的技术是故意向运行中的系统注入故障。

混沌工程测试系统在故障下是否保持可用。它引入干扰——比如终止 pod 或中断网络流量——同时监控基础设施健康状况。考虑一个三节点键值存储——Athens、Byzantium 和 Cyrene——其中读写需要两个副本的多数派。如果我们在一次法定人数写入期间杀死一个节点,混沌工程提出的首要问题是:写入是否仍然成功,集群是否恢复?

图 1:混沌工程关注的是韧性:当节点被杀死时,系统是否保持可用?

但可用性并不等同于正确性。系统可以重启 pod、继续服务流量,并保持在延迟限制之内,同时仍然违反客户端所依赖的语义。返回带有陈旧或损坏数据的成功响应,意味着系统在技术上是可用的,但从用户的角度来看却是不正确的。假设一次网络分区隔离了 Cyrene,而 Alice 写入了一个新值。Athens 和 Byzantium 构成多数派,因此写入成功,而 Cyrene 停留在旧值上:

图 2:当网络分区使 Cyrene 持有旧值时,一次法定人数写入在 Athens 和 Byzantium 上成功。

如果 Bob 随后从 Cyrene 读取,而它从本地状态读取而不是执行法定人数读取,那么即使 Alice 的写入已经成功,Bob 收到的仍是旧值。每个请求都返回了响应,所以系统保持了可用,但它的一致性保证被破坏了:

图 3:Bob 从 Cyrene 读取并收到陈旧的值“Before Dawn”,尽管 Alice 对“After Dawn”的写入已经成功。

Jepsen 通过严格关注客户端视角的正确性来捕获这个问题。它运行一个在线系统,注入故障,记录客户端可见的操作历史,并检查该历史是否与系统声称的语义一致:

Alice: invoke set("title", "After Dawn")

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →