
Uber 构建全局限流系统 GRL,支撑每秒数亿请求
来源标题:Uber's Rate Limiting System
Uber 设计并部署了名为 GRL 的全局限流服务,直接集成进服务网格,让各服务无需改代码即可按调用方或接口配置限流。后续该系统通过 RLC 配置器自动化,依据历史流量模式动态更新限额。目前它支撑着 Uber 数千个微服务、每秒数亿级请求下的稳定运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为了实现这一目标,我们着手设计一个限流服务,让各服务无需改动代码,就能轻松按调用方或按接口配置限流阈值。这个服务后来被称为 GRL(Global Rate Limiter,全局限流器),它直接集成到 service mesh 中,而 Uber 大多数服务的 RPC 请求正是通过这一层转发的。 随着时间推移,这一基础逐步演化为由 RLC(Rate Limit Configurator,限流配置器)驱动的全自动控制系统,后者依据历史流量模式持续更新限流阈值,使其始终保持新鲜、准确。 二者协同工作,确保 Uber 平台即便在每秒处理数千个微服务产生的数亿次请求时,依然保持韧性。 在分布式系统中,限流是维持可靠性与公平性的基础机制。它保护共享服务免于过载,防止级联故障,并确保没有哪个调用方能占用不成比例的资源容量。 最常见的分布式设计方案是使用分布式计数器存储,通常基于 Redis® 实现。每个请求都会对一个代表调用方或端点的键执行自增,一旦计数器超过配置的阈值,系统就拒绝请求。对许多应用而言,这种方式在准确性与成本之间取得了简单而有效的平衡。 在 Uber 微服务架构的早期,并没有统一的方式来保护服务免受过载流量的冲击。各团队自行实现限流逻辑,有时写在业务逻辑里,有时通过自定义中间件或基于 Redis 的计数器实现。每种方式对各自的拥有者来说都能奏效,却在系统层面造成了低效: 使用 Redis 这类分布式键值存储作为集中式计数器来做限流,看似可行。但这种模式无法扩展到 Uber 的规模——数十万台主机跨越多个区域,每秒处理数亿次请求。每个请求都需要远程自增并读取计数器,这会带来不可接受的延迟和跨区域一致性难题。即便采用分片和复制,也需要数百个 Redis 集群才能实时维护准确的全局状态,这又增加了运维复杂性并引入新的故障模式。 我们也排除了定期同步计数器的方案,因为它虽然能降低网络开销,却会产生过期数据,对突发流量尖峰的反应也会滞后。 团队最终得出结论:唯一能同时实现低延迟和全局可扩展性的方式,是采用完全分布式的架构——由本地代理使用聚合后的负载数据做出限流决策,而非依赖集中式计数器。 解决方案是把限流集成进 Uber 的 service mesh,也就是服务间 RPC 流量的基础设施层。 将限流器嵌入这一层,使得每个请求在到达目的地之前都能被检查和评估,且与调用方使用的语言或框架无关。 这个目标颇具雄心:提供一个统一的限流服务,让任何团队都能无需改动代码,轻松配置按调用方或按接口的配额。 该设计还需要能够扩展到每秒数亿次请求、数万个服务对,以及分布在不同地理区域的整个主机集群,同时只增加极小的延迟。 GRL 的核心是引入了一个三层反馈闭环。 这种分层聚合确保了热路径上的低延迟(决策在本地完成),同时能在数秒内维持全局协调。如果控制面不可用,客户端会采取 fail-open 策略,让流量继续通行,而不是冒自伤式故障的风险。 在 GRL(Global Rate Limiter)项目启动之初,团队最初在网络数据面的每个代理上实现了令牌桶算法来执行限流。每个代理在本地跟踪请求计数并随时间补充令牌,根据可用令牌数量来允许或拒绝请求。 令牌速率是通过比较代理的本地负载与全局限额得出的。代理计算其观测流量与全局负载目标之间的比值,然后按该比值补充令牌(速率为 ratio × limitRPS)。 如果请求到达时有可用令牌,就放行并消耗一个令牌;否则该请求被标记为已限流。为应对突发或不均匀的流量,客户端会把未使用的令牌存入一个环形缓冲区,以便在短暂高峰期间使用。 默认情况下,令牌最多可保留 10 秒,对于突发性更高的服务可配置到 20 秒。 这种方式在早期测试中行之有效,但在生产环境中暴露出可扩展性和公平性方面的问题。问题之一是调用方分配不公平:当调用方数量超过配置的限额时,令牌桶无法在它们之间公平地分配容量。另一个问题是实例级尖峰:个别流量突发的主机可能过早开始丢请求,即便整体负载仍低于全局限额。 为缓解这些局限,团队引入了 drop-by-ratio,这一特性在聚合后的全局负载超过配置限额时调整行为。当这种情况发生时,客户端会在某个过载调用方的所有实例上按概率丢弃一定比例的请求。 例如,如果某调用方的聚合 RPS 达到其限额的 1.5 倍,它的所有实例就会开始丢弃大约 33% 的请求,计算方式为: drop_ratio = (actual_rps - limit_rps) / actual_rps 这个由控制面每隔几秒更新一次的全局丢弃信号,确保超额流量在所有调用方实例之间被均匀限流,而不是仅依赖每台主机各自的令牌状态。 实践证明,drop-by-ratio 对拥有成百上千个调用方实例的大型网关类服务尤为有效,因为在这种情况下,按主机统计令牌无法反映全局的负载分布。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。