如何避免服务器在请求激增后退出负载均衡池
来源标题:How to keep servers from exiting load balancer pool
请求激增会导致服务器健康检查连续失败,被负载均衡器临时摘除,进而加重剩余服务器负担,形成恶性循环。即使请求速率恢复正常,服务器也可能长时间无法恢复。文章以5台服务器、单台每秒100请求的集群为例,说明600请求/秒的突发流量如何触发这一连锁反应。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
有一种“死亡螺旋”会让服务器在请求激增之后退出负载均衡器。即使请求速率恢复正常,服务器也可能在很长一段时间内无法恢复。解决方案是什么……有一种“死亡螺旋”,会让服务器在请求激增之后退出负载均衡器。即使请求速率恢复正常,服务器也可能在很长一段时间内无法恢复。有什么办法能兼顾弹性与可靠性?
首先,让我们理解这个问题。假设我们有 5 台服务器,每台最多能处理 100 个请求/秒。这个集群能处理的最大吞吐量就是 5×100 = 500 个请求/秒。当出现超过这个上限的突发流量时,比如 600 个请求/秒,会发生什么?那一刻,每台服务器会收到大约 600/5 = 120 个请求/秒,比它们的处理能力高出 20%。肯定会有一些请求失败。在这些请求中,还包括负载均衡器的健康检查。取决于你的配置,连续丢掉 2 次健康检查的概率很高。那一刻,一台服务器就会被判定为不健康,并被暂时从负载均衡中摘除。
其他服务器会怎样?如果 120 个请求/秒已经太多了,剩下的服务器就会开始收到 600/4 = 150 个请求/秒。那一刻,第二台服务器连续丢掉足够多次健康检查的概率几乎就是必然。于是,在很短的时间内,大多数服务器都会被从负载均衡器中移除。确实,大约一分钟后,其中一台服务器会重新回到负载均衡器——因为它处理完了积压的请求,开始响应健康检查了。然而,并不是所有服务器都会在同一时间回到负载均衡器。如果只有 3 台服务器回到了负载均衡器,它们仍然会被请求压垮,很快又会被再次移出负载均衡器池。即使流量降到集群最大容量(500 请求/秒)以下,“死亡螺旋”仍会继续。比如,流量回落到 400 个请求/秒,但只有 3 台服务器回到了负载均衡器,它们仍然会被压垮,再次被移出池子。
这个问题的唯一解决办法,是把集群的入站流量降到 100 个请求/秒以下,这样第一台服务器才能在不被压垮的情况下回到池中。然后其余的服务器很快也会加入。等 5 台服务器全部回到池中,集群就又能处理最多 500 个请求/秒了。你可以把健康检查设置为连续丢失 3 到 5 次请求后才把服务器从负载均衡器中移除。即便是 50% 的请求都丢失,连续丢失这么多次的概率也接近于零。注意,被压垮的服务器响应健康检查也会非常慢。你还必须把健康检查的超时时间调整得比服务器处理请求的超时时间更长。
这种缓解措施能让流量恢复正常时快速恢复,甚至可能处理更高比例的请求。在上面的例子中,只要所有服务器都留在负载均衡器里,服务器可能仍能处理大约 80% 的请求。不过,响应时间可能太长,导致客户端超时并重试——这会进一步增加负载。注意,如果你把健康检查失败的门槛设得很高,可能会让一台已经出故障的服务器在服务中停留更久。不过,这通常比我上面描述的“死亡螺旋”更可取。你可以测试什么值对你来说可以接受,最佳取值大概在 3 到 5 之间。记住,一旦服务器开始被移出负载均衡器,这场仗就已经输了。你必须防止这种情况发生!理想情况下,你应该有负载测试客户端,用来测试你的服务器和健康检查在高压力下的表现。
服务集群的可靠性是一个精细调优的过程。不过,在多年测试各种方案之后,我发现了一些反直觉的原则。快速失败!对超出容量的请求立即返回 429!如果你试图处理所有请求,延迟就会上升。客户端可能在你答复之前就已经超时了。服务器本身也可能因为队列和高内存压力而变得不可靠。由于重试,负载会螺旋式上升。更好的做法是只处理那些能在合理时间内处理完的请求,并用 HTTP 429(“Too Many Requests”)拒绝额外的负载。你甚至可以设置 Retry-After 头,不过并不是所有客户端都会遵守它。目标是不把服务器资源浪费在注定失败的请求上。你这是“断腿保命”。对客户端来说听起来很残酷,但对大多数客户端来说这是更大的善。
不要设置非常小的请求超时。一旦请求开始,即使你已经向客户端返回了超时,它仍会继续消耗容量(例如数据库)。这会制造大量“发了就不管”的请求,可能压垮你本就过载的后端——而它很可能已经处于高压状态了。不要那么做!把超时设置得只比客户端使用的超时略小一点,这样你仍然能服务那些足够有耐心的客户端。
一种朴素的做法是对每台服务器的容量做基准测试,然后拒绝任何超过该容量的吞吐。这有时会有帮助,但它有一个大问题:你并不确切知道服务器的极限。也许某个下游服务响应延迟更高,从而增加了你服务器上的队列。也许你因此耗尽了工作线程。最好的办法是统计并发数,而不是每秒请求数。如果你知道自己有 512 个工作线程,你就不应该接受超过 500 个并发请求(留一些线程来拒绝请求)。如果你看到已经有 500 个并发请求,任何额外的请求都应该用 HTTP 429 拒绝。就这么简单。这能让你的服务器以最大容量、合理的延迟来处理请求。每当一个请求完成,就可以接受一个新请求来处理。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。