
Fly.io 重建 6PN 私有网络,用 100-200 条记录替代全网主机电话簿
来源标题:Throwing Out the Phonebook
Fly.io 今年重建了连接 Fly Machines 的私有网络 6PN,做法是放弃在每台主机上维护全量机器映射的“电话簿”方案。旧方案在每台主机上保存数十万条记录并实时更新,新设计全局仅保留约 100 到 200 条记录。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Annie Ruygt
软件工程里真正难的问题只有一个:同步。好吧,也许有两个:缓存失效和同步。但同步更难,尤其是当另一端是最终一致的系统时。今年我们重建了 6PN,也就是你的 Fly Machines 之间的私有网络,而我们做到这一点的方式,是避开那个难的问题。
先说说现状:每个 Fly Machine 都会获得一个私有 IPv6 地址,你组织内的其他所有 Machine 都能访问它。我们把这个网络称为 6PN。my-db.internal 指向的就是它,你的应用服务器也是通过它与数据库通信,双方都无需接触公共互联网。
直到今年,我们机群中的每台主机都携带一本电话簿:一张记录所有曾经迁移过的 Fly Machine 及其当前位置的映射表。每台主机上都有数十万条条目,并且实时保持更新。电话簿本该能塞进你家房子里,而这东西已经变得,呃……难以驾驭了。所以我们改变了它!新设计总共只保留大约 100 到 200 条记录。没有什么巧妙的记忆机制,当一台 Machine 呼叫一个它不知道的号码时,主机会去查询、记录下来,然后继续工作。
下面是关于我们如何进入电话簿行业,又如何勉强脱身的故事。(其实没那么戏剧化,但这个设计确实更好用。)
6PN 地址不是随机的。它自带路由信息:
fdaa:netid:netid:hostid:hostid:mach:mach:2
netid 是你组织的私有网络。hostid 是这台 Machine 诞生时所在的物理服务器。mach 是这台 Machine。我们的服务器之间通过一个全连接的 WireGuard 网状网络通信,每台主机在其中拥有一个 /48 网段:fdaa:hostid:hostid::/48。
你会注意到,host ID 在这个地址里的位置并不对。于是 udp-xdp——一个挂载到每台 Machine 网络接口上的 eBPF 程序——在数据包发出时对字节做了重排:
fdaa:netid:netid:hostid:hostid:mach:mach:2 # what the Machine sees
fdaa:hostid:hostid:netid:netid:mach:mach:2 # what goes over the wire
现在数据包匹配到了通往目标主机的内核路由,WireGuard 将它送达,远端再把它换回来。没有任何查找(也没有状态或数据库)。地址就是路由。
一个真正优雅的设计!直到一台 Machine 迁移。
由于一长串原因,有时我们需要在主机之间迁移 Machine。迁移到新主机的 Machine,其地址里仍然烙着旧主机的 ID,这意味着它指向了错误的方向。
我们的第一个修复方案是 dnat6pn:记住一台 Machine 曾经拥有过的所有地址,并将发往旧地址的流量重写为新地址。这张表的增长速度比 12 世纪的老鼠繁殖还快,管理起来也同样棘手。一台 Machine 在自己的接口上看到的地址,并不是其他 Machine 用来访问它的地址。把一个应用迁移到另一个组织,整个机制就彻底崩溃了。它甚至破坏了我们自己的应用。它是被硬绑在地址交换设计之上的,而不是内建于其中。确实,我们犯了一些错误。
所以我们把它翻了过来。一台 Machine 的规范地址变成了它最初的地址,永远不变,无论它现在位于何处。udp-xdp 承担起将每个 6PN 地址翻译成“可路由”地址的职责,把 host ID 替换为这台 Machine 当前所在的主机。
这意味着每台主机上的 udp-xdp 都需要知道整个机群中每一台已迁移 Machine 当前所在的位置。
这就是那本电话簿。每台主机上的一个 BPF map,由 Corrosion(我们那个通过 gossip 复制的 SQLite)供给数据,订阅整个机群中每一台 Machine 的更新。
永远处于猛长期。eBPF 无法在需要时调用用户态去获取条目,所以每个条目都必须提前加载。这个 map 稳步增长,毫无放缓的迹象。我们上次查看时,已经接近我们为它设定的上限的同一数量级。
每台主机都有一本不同的电话簿。每台主机本应持有相同的 map。但它们持有的条目数量差异巨大。对此只有一种解读:同步出了问题,而我们说不出问题在哪里。
我们看不到它。我们发生过 Corrosion 同步到 map 失败的事故。但我们没有好的办法监控这个 map 本身,所以如果它引发了并非直接上报到我们这里的问题,我们也不会知道。而当我们真的去排查时,地址重写让调试变得极其痛苦:发送端的地址和接收端的地址不同,什么都对不上。
它无法绕开任何东西。通过 WireGuard 网状网络的流量会径直发往地址中的主机,仅此而已。要教会它绕开一条坏链路,就意味着在 udp-xdp 里加入更多逻辑,而这个组件我们本来就无法调试。
遗憾的是,你无法用补丁修复根本性的设计缺陷。在整个机群的每台主机上、在内核中,持有一个最终一致数据库的实时副本;这是最难的那类问题,而我们有点受够了一直扛着它。
出于一些无关的原因(Egress IPs),我们最终在 WireGuard 网状网络之上运行了一个二层网络:VXLAN。
VXLAN 让你能在任意 IP 网络之上获得一个以太网段;它只需要一个 UDP 端口。在真实的以太网段上,一台不知道某个地址位于何处的机器会通过 ARP 或 Neighbor Discovery 大声询问,然后有人应答。VXLAN 无法跨越 IP 网络大声呼喊。你要么提前告诉它每一个对端,要么伪造答案。
如果我们必须提前告诉它每一个对端,那我们就又回到电话簿行业了。所以我们伪造答案。当 VXLAN 看到一个无法映射到对端的地址时,它会发出一个 netlink 事件,drift-agent 监听这些事件,并当场配置对端。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。