返回资讯中心
外部精选
软件工程
#社区热议

误报的烟雾报警险些淹没Jane Street纽约唯一数据中心

来源标题:A false smoke alarm almost drowned Jane Street's only NYC datacenter

Jane Street纽约唯一数据中心因一次误报的烟雾报警险些被水淹。该公司长期将机房设在交易楼层附近,部分出于知识产权保护和技术风险控制考虑。事件最终靠运气和应急处理才未造成严重后果。

Hacker Newsmbac327682026/11/11 · 6 天前22 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI披露:本文完全由人工撰写,AI负责校对和轻微编辑。保留了一些有意为之的瑕疵,以增添侘寂之美。

大家都听说过Jane Street有多厉害。但很少有人知道,有那么几次,一些愚蠢的事情差点让公司倒闭,全靠毅力和狗屎运才化险为夷。其中一些经历,我当时就在系统团队里。Jane Street不设头衔,我们系统团队的人也不介意亲自动手干脏活。你可以把我们看作公司里的蓝领OCaml程序员:什么东西坏了,就是我们穿过走廊去修。这个故事可以算是《星际迷航:下层舰员》视角下的Jane Street。

很长一段时间里,Jane Street坚持把机房设在交易大厅旁边。公司只有10个人的时候,这还挺可爱。到了150人的时候,就开始让人觉得……有点怪了。部分原因是知识产权方面的顾虑:他们不想冒险让服务器被间谍偷走,从而窃取宝贵的交易策略。另一个原因是技术风险:他们要确保失控的自动化交易系统总能被关掉——跑过走廊拔掉电源线就行。

没错,市面上有工具可以缓解这两种担忧。但Jane Street在这些事情上动作慢得让人抓狂,而且他们仍然想要拉电闸这个最后手段。他们的风险文化并不完全来自阅读那些高深的思想文章。很大程度上,这源自一位曾在核潜艇上服役的合伙人,而且这种影响体现得很好!在潜艇上,你不会信任自动化,除非有一个涂成红色、机械连接的巨大拉杆,你可以拉下来关掉它。

随着公司发展,这个简陋的机房被扩建成了一个相当规模的数据中心,配备了在线UPS、机房空调(CRAC)机组、冰箱大小的网络交换机、地下柴油备用发电机,以及大约10排服务器机柜,每排10个机柜深。哦,所有这些都塞在了一栋叫1 New York Plaza的摩天大楼中间,那栋楼其他部分就是个普通办公楼。

我刚拿到Jane Street的工作时,每天从皇后区通勤到曼哈顿最南端,单程一个多小时。我高中上的是纽约市的磁石学校,所以从十几岁起就一直在这样通勤,我受够了。

既然赚着华尔街的大钱,我决定租个公寓。房产中介一直想带我看他们所谓的“让人流口水的房子”,但我只关心一件事:离办公室近。最后我租了一个200平方英尺的单间公寓,从公寓门到交易大厅的工位,步行通勤只要9分钟。我会怪异地向系统团队其他人炫耀这一点,但这也意味着办公室里每个人都知道我近在咫尺,有事随时能到。

那一天很快就来了。一天下班后,我刚要走进公寓楼的电梯,电话响了。是香港办公室打来的,当香港有纽约的问题时,(现在)他们打的就是我的号码。我们纽约数据中心的烟雾报警器响了。

当时有承包商在数据中心旁边的准备间施工。切割东西时扬起了灰尘,触发了烟雾报警器。这很糟糕,但原因可能和你想的不一样。办公楼里有用于灭火的喷淋系统。你可能在电影里见过,有人把点燃的香烟凑到天花板上的喷淋头,然后整个房间就被水淹了。现实中他们没那么蠢,但也差不多了。

首先,像我们机房上方的喷淋系统,通常不会一直充满水。这样可以避免多年后头顶管道出现泄漏。其次,喷淋头没有烟雾传感器。而是由另一个系统检测烟雾,这时管道才会充满加压水,但还不会喷洒。触发喷洒的是热量:每个喷淋头都有自己的热敏塞,当周围空气足够热时就会打开。逻辑是:烟雾报警一定是真的,引发报警的火情既然已经变得很热,就说明还没被控制住,喷淋系统应该用水浇灭它。

当然,我们数据中心的天花板布满了按这种方式设置的喷淋头。我们没事,因为即使承包商扬起灰尘触发了烟雾探测器,并没有真正的火灾产生热量,所以喷淋头不会喷水,对吧?嗯,不对。这套装置的最后一个环节是:如果烟雾报警器检测到烟雾,让空气继续在房间里循环就太糟糕了,因为那会助长火势,所以烟雾报警器被接线到关闭CRAC机组(!)

现在看出问题了吗?满是机柜的房间制冷需求很高。如果关掉制冷,温度就开始攀升。如果因为烟雾报警,一堆喷淋头刚刚被加压,那你手上就有一个严重的、可能终结业务的问题了。

于是我的任务很明确:以最快速度赶回Jane Street,进入机房,在温度升过150华氏度、喷淋系统毁掉一切之前,拔掉那个房间里每台设备的电源线。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →