返回资讯中心
外部精选
软件工程
#开发者实时流

Slack 用一年半将关键服务迁移至蜂窝架构

来源标题:Slack's Migration to a Cellular Architecture

Slack 宣布已在过去 1.5 年把最关键的用户服务从单体架构迁移到基于蜂窝(cell)的架构,以提升冗余并限制故障影响范围。Slack 称此举旨在应对站点故障,并将在系列博客中介绍迁移原因、蜂窝拓扑设计与工程权衡。此前 2021 年 6 月 30 日其云厂商在美国东海岸一可用区的网络故障曾导致服务降级。

Hacker News 最新theanonymousone2026/11/15 · 2 天前23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

近年来,蜂窝架构在大型在线服务中越来越受欢迎,因为它可以提高冗余度并限制站点故障的影响范围。为了实现这些目标,过去一年半里,我们将 Slack 最关键的用户面服务从单体架构迁移到了基于单元的架构。在本系列博客文章中,我们将讨论进行这次大规模迁移的原因,说明蜂窝拓扑的设计以及在此过程中所做的工程权衡,并分享我们在许多相互关联的服务中成功交付深度变更的策略。

在 Slack,每次发生显著的服务中断后,我们都会进行事件复盘。以下是我们内部报告的一段摘录,概述了其中一次事件及其调查结果:

太平洋夏令时 2021 年 6 月 30 日上午 11:45,我们的云服务提供商在美国东海岸区域的多个可用区之一遭遇网络中断,Slack 的大部分服务都托管在该区域。一条连接一个可用区与包含 Slack 服务器的其他几个可用区的网络链路出现间歇性故障,导致 Slack 服务器之间连接缓慢和降级,并降低了 Slack 客户的服务质量。

太平洋夏令时 2021 年 6 月 30 日下午 12:33,云服务提供商自动将该网络链路从服务中移除,Slack 客户的服务完全恢复。经过云服务提供商的一系列自动检查后,该网络链路再次投入使用。

太平洋夏令时 2021 年 6 月 30 日下午 5:22,同一网络链路出现了相同的间歇性故障。太平洋夏令时 2021 年 6 月 30 日下午 5:31,云服务提供商永久将该网络链路从服务中移除,使我们的客户服务完全恢复。

乍一看,这似乎平平无奇;我们所依赖的一块物理硬件发生了故障,因此在它被移除之前,我们返回了一些错误。然而,在事件复盘的反思过程中,我们不禁要问:为什么这次中断实际上会被用户看到?

Slack 运营着一个全球性的多区域边缘网络,但我们的大部分核心计算基础设施都位于单一区域 us-east-1 内的多个可用区中。可用区(AZ)是单一区域内的隔离数据中心;除了提供的物理隔离之外,我们所依赖的云服务组件(虚拟化、存储、网络等)的影响范围也受到限制,因此它们不应跨多个可用区同时发生故障。这使得云托管服务的构建者(例如 Slack)能够以这样的方式设计服务:整个区域的服务可用性高于任何单个底层可用区的可用性。那么,重新表述上面的问题——为什么这个策略在 6 月 30 日对我们没有奏效?为什么一个可用区故障就导致了用户可见的错误?

事实证明,检测分布式系统中的故障是一个难题。来自用户的单个 Slack API 请求(例如,加载频道中的消息)可能会扇出为对服务后端的数百个 RPC 调用,每个调用都必须完成才能向用户返回正确的响应。我们的服务前端不断尝试检测并排除故障后端,但我们必须先记录一些故障,然后才能排除故障服务器!更困难的是,我们的一些关键数据存储(包括我们的主数据存储 Vitess)提供强一致的语义。这对我们作为应用开发者来说非常有用,但也要求任何给定写入都有单一后端可用。如果某个分片的主节点对应用前端不可用,那么对该分片的写入将失败,直到主节点恢复或从节点被提升接替其位置。

我们可以将上述中断归类为灰色故障。在灰色故障中,不同组件对系统可用性的看法不同。在我们的这次事件中,受影响可用区内的系统认为其可用区内的后端完全可用,但该可用区之外的后端不可用;反之,未受影响可用区中的系统认为受影响的可用区不可用。即使是同一可用区内的客户端,对受影响可用区中的后端也会有不同的看法,这取决于它们的网络流量是否恰好经过故障设备。非正式地说,这似乎给分布式系统带来了相当大的复杂性,要求它在完成向客户提供消息和猫咪 GIF 的真正工作的同时还要处理这些。

与其尝试解决灰色故障的自动修复问题,我们解决这个难题的方法是借助人类判断的力量,让计算机的工作更轻松。在中断期间,响应的工程师非常清楚,影响主要归因于一个可用区不可达——我们按目标可用区聚合的几乎每张图表看起来都与上面的重传图相似。如果我们有一个按钮可以告诉所有系统“这个可用区有问题;避开它”,我们绝对会猛按它!因此,我们着手构建一个可以从可用区排空流量的按钮。

像许多令人满意的 инфраструктура工作一样,可用区排空按钮在概念上很简单,但在实践中却很复杂。我们选择的设计目标是:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →