返回资讯中心
外部精选
软件工程
#开发者实时流

Resend 将邮件 API 从 Node.js 迁移到 Go,延迟和内存显著下降

来源标题:Resend – Migrating our email API to go

Resend 用约七周、近 140 个 PR 将邮件 API 从 Node.js 重写为 Go,到 10 月 Go 已承载全部流量。在两套服务各分流一半流量时,Go 的中位延迟约为原来的二分之一,每任务内存占用约为七分之一。迁移保留了错误响应、幂等行为、限流和已存数据等既有行为。

Hacker News 最新mateus-resende2026/11/13 · 4 天前11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

把邮件 API 迁移到 Go,意味着要保留多年积累下来的各种决策,包括那些从未写进文档的决策。

对 Resend 来说,这意味着要匹配错误响应、幂等行为、速率限制、存储数据,以及邮件本身的内容。更快的实现只有让开发者能够继续依赖他们熟悉的行为,才真正有用。

在七周时间里,大约 140 个 pull request,我们把一个新的 Go 服务从空项目做到了承载生产流量。

到 10 月,Go 已经处理了我们全部的邮件 API 流量。在两个服务各承接一半流量时,Go 的中位延迟大约是 Node 的一半,每个任务的内存占用约为其七分之一。

原有的 Node 服务存在一些我们想解决的故障模式。

在大请求突发期间,整个任务可能变得无响应。一次排查将原因追溯到大型请求体的解析和序列化,其中还包括那些已经被速率限制器拒绝的请求。

在 Node.js 中,解析和序列化是 CPU 密集的同步操作,会阻塞事件循环直到完成。这些被拒绝请求相关的工作可能会阻塞任务处理其他流量。

我们还看到 S3 超时以面向客户的 408 和 524 错误形式暴露出来。

这些问题塑造了对替代服务的要求:在负载下行为更可预测、资源占用更低,以及更好地控制单个操作可以持续多久。

更换实现还意味着要重新审视请求处理、超时、连接池和容量。这些决策成了迁移工作的重要部分。

我们的工程理念要求行为可预测并保持向后兼容。在重写过程中,这一原则变成了一个测试问题:你如何证明两个实现的行为完全一致?

我们构建了一个 harness,向 Node 和 Go 发送相同的请求并比较它们的行为。其覆盖范围包括响应和错误、数据库行、S3 对象、幂等性和速率限制。

仅检查 HTTP 响应会留下太多未测试的内容。两个服务可能都返回成功响应,却持久化了不同的元数据或生成了不同的邮件内容。

原有实现成了兼容性的参照。我们还刻意保留了一些 Node 的怪癖。改变一个出乎意料的行为,仍可能破坏依赖它的集成。

HTML 转文本的转换就是一个特别有用的例子。当用户发送一封只包含 HTML 部分的邮件时,我们会把它转换为文本,以适配偏好纯文本邮件的邮件客户端和收件人。

我们最初选择的 Go 库能生成合理的纯文本,但其输出与我们配置的 Node 库不同。带有 data-skip-in-text="true" 标记的元素出现在了 Go 的输出中,而它们本应被省略。链接还可能多出 Node 输出中没有的 URL 文本。

这些差异会改变收件人收到的邮件。

我们为我们 API 所使用的特定 HTML 转文本行为构建了一个 Go 移植版本。最初的移植版本与 Node 实现生成的 60 个 fixture 完全匹配。这为这些 fixture 覆盖的场景提供了具体证据,也为添加更多用例打下了基础。

在匹配了旧系统的行为之后,下一个挑战是成功部署新系统。为了让这次上线成功,生产环境还需要更多调优。

新服务每个请求使用的资源更少,但在上线过程中我们仍不得不两次将任务规格翻倍。

我们还做了几项运维变更:

每项调整都针对不同的约束。更低的平均资源消耗并不能告诉我们一个任务在突发期间需要多少容量。更快的请求处理并不能消除对存储操作设限或考虑 Redis 连接的需要。

上线过程为我们提供了做出这些决策所需的生产环境证据。

这些数字来自 50% 的上线阶段。一半请求发往 Node,一半发往 Go。

两个服务运行在相同的任务规格上,Go 服务每个请求使用的 CPU 约少 62%。发往 /emails 的 POST 请求中位延迟下降了约 50%,而 p99 下降了约 16%。

慢速尾部的大部分时间花在等待 S3 和数据库上。改进 API 服务只能减少请求耗时的一部分;要进一步降低尾部延迟,需要对这些依赖项以及我们使用它们的方式进行改进。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →