FAA远程站点铜线升级引发全美航班停飞
来源标题:FAA Outage: Why Duffy Is Spelled with Two Ms
美国联邦航空管理局(FAA)一处远程站点在铜线升级为光纤时,路由器向空中交通网络每四五秒发起超过1000次连接尝试,导致管制员失去可靠的无线电和雷达信号,全美所有航班停飞。FAA代理CTO称,两个来源同时冲击网络,关闭后网络恢复稳定。交通部长Sean Duffy于周六给出了上述说明。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
FAA 一处偏远站点的铜线升级,让全美所有航班停飞。是啊。电信工程师们,你们懂我在说什么。
周五下午,一名承包商的施工人员正在把旧线路切换成新的光纤。随后,那台路由器向整个空中交通网络疯狂发送连接请求,每四到五秒就超过 1000 次。算下来大约每秒 250 次,对任何现代网络来说都只是涓涓细流。FAA 代理 CTO 说,当时有两个来源在猛击网络,两个都关掉之后网络就恢复了。这场人为制造的风暴,相当于一次自我拒绝服务攻击,导致管制员失去了可靠的无线电和雷达。
早在 1980 年 10 月,人们就知道这种方式能让整个网络瘫痪:当时一个故障的 ARPANET 节点向其他所有节点灌入错误的路由更新,把网络打挂了几个小时。
交通部长 Sean Duffy 在周六给出了上述说法。这个解释直接来自最高层。可周五晚上他唱的完全是另一个调子。他在白宫简报会上说,这是老旧硬件故障,而且“我们新的 IP 交换机没有宕机”。国土安全部长 Markwayne Mullin 站在他旁边说,FAA 正在安装新设备,“压垮了老系统”。Mullin 说得对,从某种意义上说,周五下午的一次升级搞砸了。是啊。服务器工程师们,你们懂我在说什么。
FAA 连自己升级引发的风暴都应付不了,从东部时间下午 3:54 到晚上 8:15 扣住了所有离港航班。FAA 局长 Bryan Bedford 统计周五有 12000 个航班受影响,预计周六还会有 4000 到 5000 个航班取消。那天在升级计划搞砸之前,旧网络好好地承载了大约 30000 个航班。
周五,一名记者直接问 Duffy,是不是 FAA 的升级导致了这次停摆。他回答时却描述起了旧的模拟系统。真可爱。被问到当天系统有什么不同时,他说“我们还在梳理今天到底哪里出了问题”。他在同一场简报会上先给出了原因,然后又声称自己不知道原因。因为 Duffy 的名字其实拼作两个 M。我们怎么知道的?他向国会要 500 亿美元,好更快地做更多升级,第二天又说正是做升级导致了这次停摆。真是典型的“失败更快”特权感。
这时候报道已经满天飞了,虽然飞机飞不了。CBS 的消息源在几小时内就描述了这次搞砸的网络更新,彭博社报道 FBI 正在调查是不是一次软件更新导致的。CBS 说,故障出在 2001 到 2006 年间生产的 Cisco 路由器,它们向更广泛的系统灌入了不同步的数据。
还在跑 2001 到 2006 年间生产的 Cisco 设备,换句话说,正面对二十年的可靠性考验,意味着任何改动都需要有冗余方案的冗余方案的冗余。Bedford 说 FAA 正在用 Juniper 设备替换 2000 台这样的 Cisco 路由器,所以周五那次切换只是两千次中的一次,按理说是照着手册来的。是啊。灾难恢复工程师们,你们懂我在说什么。
有记者问 Duffy 部长,为什么 FAA 没有应急备份方案,他回答说: 我没想到我们会出这样的停摆。
周六的说法带来了更多清晰度。是一次升级作业导致了停摆。Duffy 开始把这次切换说成是一个小地点上的简单工作、本应影响很小,这暴露出他不适合这个职位。是啊,老兄,我想现在所有人都知道,那不是什么小地点的小影响。那是一场国家安全级别的灾难,是在你任内由一连串失效即危险(fail-unsafe)的连锁反应造成的。直到工程师们把本应在任何人碰网络之前就隔离好的作业隔离出来,服务才恢复。我怎么强调都不为过:一个负责人,看着兴登堡号烧成火球,却只给出“这本应是一次小地点上的平稳降落”这样的解释,这简直是在自我定罪。
能不能换个人来负责?一个不仅能预见、而且明白无论预见与否,防止停摆才是真正本职工作的人。
Duffy 的辩解几乎令人难以置信:什么都不做,比他那套“开火、就绪、瞄准”的做法风险更大。好吧,周五正好检验了这个说法,而 Duffy 完全说反了、搞颠倒了。正是做了什么才造成了最大的故障。在切换开始之前,那条旧铜线一直在承载流量。仓促切换搞垮了整个国家。在没有隔离、不清楚可能发生什么的情况下,什么都不做看起来简直聪明得不得了。那条线路本来就要停用,所以确实需要施工。但一次切换的质量——一项在数十年迁移规划之后执行的安全程序——是 FAA 要负责管理的。以这种方式管理的升级,远比它所替换的网络危险得多。
整个国家都不得不停摆!这次迁移还能管得多糟?
Duffy 切换计划的每一个环节都失败了。
选的时间是流量的高峰时刻,周五下午,空中有 3500 架飞机。管制员告诉《华盛顿观察家报》的记者,这种工作应该在工作日中间、半夜来做(那是我最喜欢的飞行时段之一,尤其是飞达拉斯,你可以整夜一个人在机场里滑板)。有记者问 Duffy,为什么该部门要在这么危险的繁忙时段做这件事,他说小型偏远站点在白天切换,而像纽瓦克这样的大设施在夜间做,时间安排会重新评估。评估什么?周五下午本来就是按设计运作的政策。再明显不过了,这项政策是在一个蠢货任内批准的。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。