
Datadog 构建 FETCh 系统,用 TLA+ 规范持续校验生产环境行为
来源标题:We continuously validate TLA+ formal specifications in production
Datadog 推出 FETCh 系统,将 TLA+ 形式化规范转为运行时监控器,持续校验生产环境行为与形式化模型是否一致。该系统源于 Husky 事件数据库路由逻辑变更导致冲突放置在生产中存续约一年,仅两处冲突放置就可能在数据丢失恢复时使回填系统崩溃。FETCh 让 Datadog 能大规模检测规范与实际系统的偏差。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
形式化规约能帮助工程师对复杂的分布式系统进行推理,并验证关键的的正确性属性。但只有当它们反映现实时,才具有价值。在 Datadog,我们在开发事件数据库 Husky 时就遇到了这一挑战。我们曾有一个经过形式化验证的 Husky 路由系统模型,在创建时与生产行为一致。然而随着时间推移,Husky 不断演进,其放置逻辑的一次变更导致冲突的放置在生产环境中持续存在了大约一年。虽然在正常运行期间无害,但仅仅两个冲突的放置就会导致 Husky 的回填系统在从放置数据丢失中恢复时崩溃。我们发现这个问题并非通过触发该故障,而是通过将生产行为与我们的 TLA+ 规约进行比对。
这引出了一个问题:你如何知道一个规约何时已经偏离了它本应描述的系统?
为了回答这个问题,我们构建了 FETCh(Formal Execution Trace Checker),一个将 TLA+ 规约转化为运行时监控器的系统。FETCh 让我们能够大规模地持续验证生产行为是否符合形式化模型,并检测传统测试、代码审查和人工规约审查可能遗漏的差异。
在本文中,我们将展示我们如何构建 FETCh、如何部署它来验证 Husky 的路由系统,以及它如何帮助我们揭示了一个传统测试未能暴露的隐蔽 bug。
形式化规约定义了系统在任意给定状态下能做什么和不能做什么。模型检查会接收一个规约并生成可能状态树,使我们能够验证诸如“系统是否可能到达无效状态?”或“期望的条件是否最终总会变为真?”等属性。
一个形式化规约只有在可处理的情况下才有价值,也就是说,可能状态树能够在合理的时间内生成。因此,规约不可能与现完全一致,它必须是一种抽象。
所以我们简化了系统的部分内容以使规约可处理。但我们如何知道是否简化过度了?我们如何知道规约是否仍然足够接近现实从而有用?
传统上,答案是专家审查。同时理解实现和形式化模型的工程师会评估抽象是否仍然合理。这种方法在规约初次编写时效果很好,但它有一个重要局限:审查提供的是时间点上的评估,而生产系统在持续演进。
随着时间推移,实现会发生变化。新功能被添加,性能优化改变了执行路径,运维需求发生转变。即使规约在编写时是准确的,它也可能逐渐偏离它本应描述的系统。由于规约本身看起来仍然正确,这种偏离会造成一种虚假的信心。
我们在 Husky 上遇到了这个问题,它是 Datadog 的第三代事件存储,我们几年前为其编写了几个形式化规约。我们在之前的博客文章中介绍了 Husky 的路由架构。简而言之,Husky 是一个分布式流处理系统,每秒处理数百万个事件,并且必须满足若干正确性属性以确保数据恰好被摄入一次。
尽管多年来我们没有观察到任何重大缺陷,但我们从未大规模地形式化验证过系统是否持续遵循规约。
持续验证真实系统与其规约之间的一致性并不是一个新想法。但使规约可观测的需求与使规约可模型检查的需求之间存在冲突。
可模型检查的规约需要有界输入以保持可处理性——例如,一组两个客户端和三个事件。它还需要描述事情是如何发生的——例如,将网络建模为传入请求的队列——以便能够探索所有可能的执行。
相比之下,可观测的规约需要支持无界输入,因为真实系统可以处理连续的请求流。它应该声明允许什么,而不是如何发生。例如,请求如何排队通常是实现细节。
考虑一个简单的锁服务器,它在内存中跟踪当前持有的锁,并用一个计数器指示每个锁是否被持有(1)或未被持有(0)。以下规约描述了获取和释放锁的允许状态转换: 1 CONSTANT Locks 2 3 VARIABLE locks 4 5 Init == locks = [l \in Locks |-> 0] * 初始时,没有锁被持有 6 7 Acquire(lock) == 8 /\ locks[lock] = 0 * 如果锁未被持有,则可以获取…… 9 /\ locks' = [locks EXCEPT ![lock] = @ + 1] * 在这种情况下,我们增加其计数器以标记为已持有 10 11 Release(lock) == 12 /\ locks[lock] > 0 * 如果锁被持有,则可以释放…… 13 /\ locks' = [locks EXCEPT ![lock] = @ - 1] * 在这种情况下,我们减少其计数器以标记为已释放 14 15 Next == 16 \E l \in Locks : Acquire(l) / Release(l) * 服务器可以为任意锁提供获取或释放服务 17 18 Spec == Init /\ [][Next]_<<locks>> * 规约是初始状态 + 允许的动作
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。