返回资讯中心
外部精选
软件工程
#社区热议

S2 替换 Route53,自建权威 DNS 服务器

来源标题:It's always DNS, so why are we running our own?

S2 决定弃用 AWS Route53,改为自建权威 DNS 服务器,原因是想支持无限量的 basin。每个 basin 对应一个 CNAME 记录,要做到无限就得支持无限 DNS 记录,且创建后必须立即可解析、保持强一致。作者坦言自建 DNS 服务器让他心惊。

Hacker Newsmisker12026/11/16 · 今天21 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这会是一段跌宕起伏的故事,讲述我们如何最终决定替换 Route53,并运行自己的权威 DNS 服务器。

曾几何时,我们决定应当为客户提供无限数量的 basin。basin 是 S2 中的核心命名空间构造,充当流(其数量本已无限)的顶级容器。我们发现客户一直在绕过我们那个并非完全随意的每账户 100 个 basin 的限制。这体验可不怎么好。

就这个故事而言,重要的是客户创建的每个 basin 都会成为自己的子域名:my-basin.b.s2.dev(与 AWS S3 上 bucket 的工作方式并无不同)。与每个 basin 关联的 DNS 条目是一个 CNAME,它将客户端路由到我们架构中正确的 cell。因此,要支持无限数量的 basin,我们就需要支持无限数量的 DNS 记录。

这些记录还需要强一致性。当 basin 被创建时,其地址应当能立即被解析,否则客户端就得干等缓存的 NXDOMAIN 过期。

一想到要运行自己的 DNS 服务器,我的脉搏就飙升,哎呀!

我的调研阶段始于希望。希望我们现有的 AWS Route53 DNS 设置能够满足这些新需求。我真的真的不想让我们构建并运行自己的 DNS 服务器。

Route53 是个很棒的系统,而且看来可以支持无限数量的记录。但是,有一个致命的限制:其 API 速率限制最高约为每秒 5 次 UPSERT(AWS 的节流文档最近有变动,现在的限制可能更高)。

实际上,这是我们通过惨痛教训才发现的。我确实读过文档,但 API 限制并没有引起我的担忧。当一个恶意行为者迅速创建了数万个 basin,占满了我们 Route53 记录的全部配额时,问题就变得显而易见了。这产生了一批需要数小时才能处理完的积压工作,在此期间,我们正常的 DNS 更新被卡住,一些进程试图删除记录,而另一些则试图添加新记录。不过这确实促成了一次很棒的事后复盘。正是在那时,我们开始强制执行每账户 100 个 basin 的限制。

我们考虑过批处理方案,但那会破坏我们让条目即时可用的目标。而且即使采用批处理,这套设置也感觉不到“无限”;系统的合法使用仍有可能触达速率限制。

我们考察过的其他托管 DNS 提供商(GCP Cloud DNS、Cloudflare、Azure DNS)也有类似的限制:如果你使用提供商 API 来更新/插入/upsert 记录,就会有一个严重的限流组件。

别无他法,必须构建一个自定义的权威 DNS 服务器(双重哎呀!)

技术要求相当直接:给定任何传入的 DNS 请求,我们需要查询一个最新的 zone map,它应当能够容纳无限数量的记录,并向客户端发回相应的响应。

为了避免同步到单独的系统并又多出一个活动部件,DNS 记录将直接来自我们现有的 basin 数据库。一个实时的 SELECT 会一致地“解析”DNS 请求中所需的映射。换句话说,我们希望 DNS 简单地成为我们现有的、强一致的账户数据库的一个新调用方。

我们的账户数据库位于 Google 的 Cloud Spanner 中,预计性能表现良好(当然,前提是钱足够多)。

我们在基于库构建还是编写 CoreDNS 模块之间反复权衡。基于库最终感觉是最灵活的路径,可以让我们构建非常贴合自身用例的东西。我们是一家 Rust 技术栈的公司,但我们决定这个项目用 Go,主要是因为 Spanner 工具链(以及 GCP 生态)相对更成熟。由于文档质量出色且支持众多 RFC,我们很快选定了 miekg/dns 库。

我们需要能够支持多种记录类型的权威 DNS 查询:A、AAAA、NS、CNAME、SOA。由于我们使用的是库,我们必须自己构建响应。我们的正确性测试聚焦于这些,包括单元测试、使用 Ferret 进行的 RFC 合规性测试(我们是在这篇很棒的论文中发现的:SCALE: Automatically Finding RFC Compliance Bugs in DNS Nameservers),以及一次使用实时数据的部署后冒烟测试。

S2 为 basin 区域使用通配符证书,它们需要 ACME DNS-01 挑战才能工作。我们决定不从我们的服务器提供 DNS 挑战,而是通过 CNAME 委托将其卸载到一个单独的 Route53 区域,以避免调整我们的证书续期系统以及提供动态 TXT 记录。

然后,我们与一个流行的 AI 系统进行了几次规划会议。设计足够简单,一切都很有道理(甚至对我来说也是如此),只不过建议中不断包含各种额外特性:合并、负缓存、节流、速率限制、DNS cookies 等等。对于一个将活跃在开放而可怕的互联网上的系统来说,这是意料之中的;然而,这建议的保护措施可真不少。

我们越是顺着这条线深挖……就越觉得可怕。在 DNS 层面可能发生许多类型的攻击,有我知道的可怕事情,也有我从未听说过的事情。

NXDOMAIN 攻击是最让我们害怕的。每一个随机的、不存在的 DNS 查询都会是一次全新的数据库查找。我们尝试为 NXDOMAIN 构建应用内防御,然而,在我看来,它是最糟糕的 DDoS 攻击,没有什么能真正阻止它。不妙。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →