返回资讯中心
外部精选
软件工程
#开发者实时流

误报烟雾报警器差点淹没Jane Street纽约唯一数据中心

来源标题:A false smoke alarm almost drowned Jane Street's only NYC datacenter

Jane Street纽约唯一的数据中心因一次烟雾报警器误报险些遭遇水淹事故。该公司的系统团队在文章中回忆了这次险情,当时机器房仍紧邻交易楼层。文章由人工撰写,AI仅参与校对和轻度编辑。

Hacker News 最新mbac327682026/11/11 · 6 天前22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI 披露:本文完全由人工撰写,AI 仅负责校对和轻微编辑。保留了一些有意为之的不完美之处,以增添侘寂之美。

大家都听说过 Jane Street 有多厉害。但很少有人知道,那些差点让它关门大吉的蠢事,以及它是如何靠着毅力和狗屎运挺过来的。其中一些事发生时,我就在系统团队里。Jane Street 不设头衔,我们系统团队的人也不介意亲自动手干活。你可以把我们看作公司里的蓝领 OCaml 程序员:哪里出了问题,跑过走廊去修的就是我们。这个故事可以算是 Jane Street 版的《星际迷航:下层舰员》。

很长一段时间里,Jane Street 坚持把机房设在交易大厅附近。公司只有 10 个人的时候,这还挺可爱。到了 150 人的时候,就开始让人觉得……有点怪了。部分原因是知识产权方面的顾虑:他们不想冒险让间谍偷走服务器、学走他们宝贵的交易策略。另一个原因是技术风险:他们要确保失控的自动化交易系统总能被关掉——跑过走廊拔掉电源线就行。

没错,市面上有工具可以缓解这两种担忧。但 Jane Street 在这类事情上动作慢得让人抓狂,而且他们仍然想要拔电源线这个最后手段。他们的风险文化并不完全来自阅读那些高深的思想文章。很大一部分是由一位曾在核潜艇上服役的合伙人灌输的,而且效果很明显,大多是好的方面!在潜艇上,除非有一个涂成红色、机械连接的大操纵杆可以拉下来关掉它,否则你不能信任自动化。

随着公司发展,这个简陋的机房被扩建成了一个相当规模的数据中心,配有在线 UPS、机房精密空调(CRAC)机组、冰箱大小的网络交换机、一台地下柴油备用发电机,以及大约 10 排服务器机柜,每排 10 个机柜深。哦,这一切都塞在名为 1 New York Plaza 的摩天大楼中间,那栋楼原本只是个普通的办公楼。

我刚入职 Jane Street 时,每天从皇后区通勤到曼哈顿最南端,单程一个多小时。我高中上的是市里的磁石学校,所以从十几岁起就一直这样通勤,我受够了。

既然挣着华尔街的大钱,我决定租个公寓。一个房产中介不停地想带我看他们所谓的“让人流口水的房子”,但我只关心一件事:离办公室近。最后我租了一间 200 平方英尺的单间公寓,从公寓门到交易大厅的工位,步行通勤只要 9 分钟。我会怪怪地向系统团队其他人炫耀这一点,但这也意味着办公室所有人都知道,万一有紧急情况,我就在咫尺之遥。

那一天很快就来了。一天下班后,我正准备走进公寓楼的电梯,电话响了。是香港办公室打来的,当香港有纽约的问题时,他们打的就是(现在)我的号码。我们纽约数据中心的烟雾报警器响了。

当时有承包商在数据中心旁边的准备间施工。切割东西时扬起了灰尘,触发了烟雾报警器。这很糟糕,但原因可能和你想的不一样。办公楼里装有用于灭火的喷淋系统。你可能在电影里见过,有人把点燃的香烟凑到天花板上的喷淋头,整个房间就被淹了。现实中没那么蠢,但也差不多了。

首先,像我们机房上方的喷淋系统通常不是一直充满水的。这样可以避免多年间头顶管道可能出现的泄漏问题。其次,喷淋头没有烟雾传感器。相反,是另一个系统检测到烟雾,这时管道才会充满加压水,但还不会喷。触发喷射的是热量:每个喷淋头都有自己的热敏塞,当周围空气足够热时就会打开。其逻辑是:烟雾报警一定是真的,不管是什么火灾触发了它,既然已经变得很热了,说明火势还没被控制住,喷淋系统应该用水浇灭它。

当然,我们数据中心的天花板布满了按这种方式设置的喷淋头。我们仍然没事,因为即使承包商扬起的灰尘触发了烟雾探测器,并没有真实的火灾产生热量,所以喷淋头不会喷水,对吧?嗯,不对。这个装置的最后一个环节是:如果烟雾报警器检测到烟雾,让空气继续在房间里循环就太糟糕了,因为那会助长任何火势,所以烟雾报警器被接线到关闭 CRAC 机组(!)

现在你看出问题了吧?装满机柜的房间制冷需求很高。如果关掉制冷,温度就会开始攀升。如果一堆喷淋头因为烟雾报警刚刚被加压,那你手上就有一个严重的、可能终结业务的问题了。

于是我的任务很明确:以最快速度赶回 Jane Street,进入机房,在温度攀升超过 150 华氏度、喷淋系统毁掉一切之前,拔掉那个房间里所有设备的电源线。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →