
工程师为何头疼通知发送:一行代码会不断膨胀
来源标题:Why sending notifications is a nightmare for engineers
发送单封邮件只需一行代码,但要可靠地发送大量通知则困难重重。作者以虚构灯具电商 Halden 为例,描述通知逻辑在三个月内因各种问题不断膨胀,并提及 Courier、Knock、Novu Cloud 按条计费成本高、自托管 Novu 运行慢,因此开发了 notifkit。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
发一封邮件只需要一行代码。但要把它发好,完全是另一回事。下面这行代码是如何随着一张张客服工单逐渐膨胀的,以及七家真实公司踩坑的经历。
每个通知系统都是同样的开局。有人提交工单:用户下单时发一封收据邮件。假设你在 Halden 工作,一家卖灯的网店。你有邮件服务商和 API key,十分钟后结账流程就长这样:
on order placed:
send receipt email
里斯本的 Ana 下单买了一盏灯(订单 #8812),收据出现在她的收件箱里,你关掉工单,去吃午饭。轻松。
并不轻松。我自己就撞上过一堆这样的问题,所以才做了 notifkit。我先看了托管方案。Courier、Knock 和 Novu Cloud 都按消息条数收费,一旦量上来就贵得离谱。自托管 Novu 能解决账单问题,但解决不了服务器问题:它是一堆服务外加 MongoDB,需要一台大机器来跑,我测试的时候还很慢。
所以我可以向你保证,那一行代码一定会膨胀。让我们跟着它走三个月。下面每一步都是你发够多通知之后必然遇到的问题,而且大多数都配有一家最先踩坑的公司的公开事故:Salesloft、Zoho、Asana、Buttondown、Starbucks、HBO Max 和 Everbridge。
开始前简单说一句。我不知道这些公司各自是怎么构建系统的,我也不是在说谁粗心。其中几家发表了诚实的复盘,这需要勇气。下面的代码是我的版本,不是猜测他们本该怎么做。我想说的只是:这事很难,再小心的团队也会中招。
你查了日志。服务商响应太慢,调用抛了异常,什么都没发出去。网络就是这样。行,加重试:
send receipt:
try 3 times:
send the email
if it worked: done
wait a bit longer each time # 1s, 2s, 3s
give up: "receipt not sent"
搞定。只不过这个循环可能要跑十秒,而且它跑在结账请求里面,所以 Ana 盯着转圈,等你在那儿发邮件。于是你把发送挪进后台任务,现在你有了一个任务队列要维护。就为了一封邮件。
Gmail 对实际已经投递的邮件返回了错误。Salesloft 重试了它们,结果客户的邮件发了两遍。
事情是这样的。超时只意味着你没收到答复,不意味着服务商没发出去。它发了,然后你的重试又发了一遍。
即使邮件已经发出,我们也无法把它标记为已处理。于是邮件被反复重试。大约 160 万封重复邮件进了队列,约 10 万封到了用户手里。
你需要的是给每条消息一个 ID,每次重试都保持不变,比如 order-8812-confirmed。(随机 ID 不行,因为每次重试都会生成新的。)发送之前,你先检查这个 ID 是不是已经发过了。
send receipt:
id = "order-8812-confirmed" # the same on every retry
if id was already sent: stop
try 3 times:
send the email, passing id to the provider
mark id as sent # after the send, not before
done
这里面有个不起眼的坑:“已发送”标记要放在发送之后。写在前面,中间要是崩了,收据就永远发不出去。写在后面,中间要是崩了,重试就会再发一封。你找不到一个两种都不会发生的选项。
第二种情况基本就是 Zoho 描述的:邮件发出去了,他们没法标记为已处理,于是被重试。这个问题你这边没法彻底修复。服务商必须接受你的 ID 并拒绝重复,所以这个 ID 也要传给服务商。
说实话,这些放在 Salesloft 身上都救不了。Gmail 对实际已投递的邮件报了错,换谁都会重试。这个只有服务商能修。
send receipt:
... id and sent check as before
for provider in [primary, backup]:
if provider failed 5 times in a row: skip it for 30s
try 3 times:
send the email through provider, passing id
if it worked: mark id as sent, done
if it's a bad address: stop, don't retry # not an outage
note that provider failed
wait
give up: "not sent by any provider"
“skip it for 30s”这一行是为了在服务商故障期间,每条消息不必都干等三次超时才换下一个。如果某个服务商持续失败,你就暂停尝试它一会儿。
烦人的是判断什么算失败。服务商拒绝一个坏地址,说明服务商工作正常。把这算成失败,五个坏地址连着来,就会把所有客户都切到一个本来完全健康的服务商之外。
哦对,步骤 02 里的那个 ID 漏了。只有见过它的服务商才知道它。如果主服务商投递了邮件然后超时,备用服务商从没听说过这个 ID,于是又把邮件发了一遍。
任务提醒在午夜刚过时触发了。一位用户写道:
刚过午夜就被 Asana 应用吵醒,告诉我今天有个任务到期。
到这会儿,收据已经不再孤单了。产品想要“你的订单已发货”邮件,于是 send receipt 变成了通用的 notify()。仓库在俄亥俄。他们晚上 9:40 发出 Ana 的灯,也就是里斯本的凌晨 2:40,箱子一扫,邮件就发出去了。Ana 很不高兴。
所以消息得等到她的早晨再发,除非是紧急的:
notify(user, message):
if not critical and it's night where the user is:
save the message to the database
send it at 8:00 their time
stop
... sent check, providers and retries as before
时区要存名字(Europe/Lisbon),而不是像 +01:00 这样的偏移量,因为偏移量会随夏令时变化。我故意跳过了“用户那边是不是夜里”的判断。Ana 的免打扰时段是 23:00 到 08:00,所以它得处理一个跨午夜的时间窗口,再加上一年两晚的时钟切换。这比你想的要长。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。