开发者分享自建邮件服务器经验:IMAP 协议比 SMTP 更复杂
来源标题:IMAP Is Indeed Complicated
一名开发者正在构建支持自托管的 IMAP/SMTP 邮件服务器,并指出 IMAP 的复杂度远超预期。他基于 emersion/go-imap 实现协议层,但数据管理需自行处理。IMAP 需支持多客户端同步邮件标志(如 \Seen),这增加了实现难度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我正在构建一个即将发布、对自托管友好的邮件服务器,它处理 IMAP 和 SMTP。过去几年,我从事每天处理数百万封电子邮件的基础设施工作。我的工作重点是 SMTP 及相关协议。IMAP 并不在考虑范围之内,但随着这个项目的开展,情况发生了变化。
当我选择构建新的邮件服务器时,我从 IMAP 开始。在软件项目管理中,我们倾向于优先处理并从未知项开始,而我知道对我来说 SMTP 比 IMAP 更顺利。对于线协议,我基于 emersion/go-imap 构建。我熟悉其他一些 emersion go 包,其维护者甚至好心地合并了我为该生态系统提交的几个 pull request。这个包主要处理 IMAP 请求和响应的解析,把实际数据管理的实现留给我。
IMAP(Internet Message Access Protocol,互联网消息访问协议)是一种让用户访问消息(电子邮件)的协议,这些消息被组织到邮箱(文件夹)中。消息可以携带标志。最突出的是 \Seen 标志。无论你同时使用多少个 IMAP 客户端,如果你在其中一个客户端中查看了一封电子邮件,你就会期望它在所有客户端中都被标记为“已查看”。
IMAP 经历过几次彻底修订:我实现的是 RFC 9051,即 IMAP Version 4rev2。据我所知,第一个 IMAP 标准是 RFC 1064 中发布的 IMAP Version 2,发布于 1988 年!IMAP“Version 1”并未按 RFC 公开标准化。
让我们从简单的 LIST mailboxes 开始。LIST 可以请求某个邮箱的 STATUS。因此我们也需要实现 STATUS。STATUS 返回消息数量,并且需要计算带有 \Seen 标志的消息数量以及带有 \Deleted 标志的消息数量。一个简单的列表操作会带来很长的后续工作。
我想说的是,这个协议相当循环。消息影响邮箱,标志影响消息。标志和消息又影响为邮箱返回的信息。
邮箱可以重命名,就像你电脑上的文件夹可以重命名一样。始终存在的 INBOX 文件夹行为不同:允许重命名 INBOX,并且不会导致带标签的 BAD 响应,而且它有特殊行为:它会把 INBOX 中的所有消息移动到一个具有给定名称的新邮箱中,使 INBOX 保持为空。
再次,一个看似容易实现的命令却带来了很长的后续工作。本来简单的重命名变成了创建一个新邮箱并把消息移动到那里。
SQL 数据库的经验告诉我们,要规范化数据。这意味着一个“subscriptions”表会指向一个“mailboxes”表,名称只存储在“mailboxes”中。但如果邮箱不存在呢?在 SQL 表布局中有几种简单的方法可以解决这个问题。尽管如此,在 IMAP 中这是一个令人意外的设计选择,我通过在这两个表中复制邮箱名称来解决它。
关于 IMAP 实现复杂度,最大的讨论点大概是序列号。让我们从简单的消息 UID 开始。这是大多数(后端)开发者通过类比 UUID 就能很容易理解的概念。与 UUID 不同,UID 严格递增,但不必连续。为简单起见,我在这里跳过 UIDVALIDITY,它是 UID 的复合 ID。
除了 UID,消息还有序列号。邮箱中的所有消息按 UID 升序排序。然后,从 1…n 分配一个序列号。序列号严格连续。每当你从序列中移除一条消息时,编号会立即重新分配,再次形成一个连续的 1…n 序列。(例如,在序列 a:1,b:2,c:3 中,从列表中移除消息 b 会得到序列 a:1,c:2)
虽然服务器对数据库有一致的视图,并能将递增的 UID 关联到序列号,但 IMAP 的设计考虑到了并行的客户端会话。当客户端移动或删除一条消息时,服务器会通知所有其他客户端这一变更。在这个更新到达所有客户端之前,服务器需要记住每个客户端的视图,并据此解释序列号。因此,每条包含序列号的客户端命令都必须转换为服务器的视图,而更新又必须转换回所有客户端会话的视图。幸运的是,emersion/go-imap 处理了序列号的转换。
邮箱管理的未来可能是 JMAP Mail(The JSON Meta Application Protocol (JMAP) for Mail),这是一种新协议,试图相对于 IMAP 简化线协议。我正在编写的邮件服务器设计为将来如果有需求并且有合理数量的电子邮件客户端支持它,就添加 JMAP。
如果你在学习电子邮件的过程中感到有趣,或者你想自托管电子邮件,但觉得那些棘手的部分令人生畏,可以看看我的服务 p25.dev。我认为它重新带来了自托管电子邮件的乐趣。
很快我会发布 IMAP/SMTP 的 p25.dev 配套实现,包括我上面解释的那些有趣的 IMAP 用例的实现。以下是我在 Modern email is CRM 中的初步公告。
这篇文章以及新的邮件服务器都是“手工”编写的。
如果激发这篇文章的软件是由“agentic coding”生成的,就不可能写出这样的文章。对于我自己的工作,我得出结论:自动化代码生成的好处并不超过它对软件开发领域各个层面造成的危害。引用 Edsger Dijkstra 1972 年图灵奖演讲中的一句话:
软件危机的主要原因是机器已经变得强大了几个数量级!直截了当地说:只要没有机器,编程根本不是问题;当我们有一些弱小的计算机时,编程成了一个轻微的问题;而现在我们有了巨大的计算机,编程也成了一个同样巨大的问题。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。