返回资讯中心
外部精选
软件工程
#开发者实时流

团队排查 exchangelib 文件描述符泄漏问题

来源标题:Chasing Ghosts in the Machine: Debugging a File Descriptor Leak in Exchangelib

一支团队在 Python 邮件归档管道中定位并修复了 exchangelib 的文件描述符泄漏问题。泄漏由第三方库缺陷、微软 365 严格限流与全量抓取架构共同导致,进程最终触发“Too many open files”错误。团队使用 EWS 下载微软 365 租户全部邮箱邮件。

Hacker News 最新comtom2026/11/17 · 昨天16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

软件工程 编程 追查机器中的幽灵:调试 Python 的 exchangelib 中的文件描述符泄漏 Tomás Gonzalez Dowling 5 分钟阅读· 2026 年 10 月 14 日

如果你在 Linux 上写后端软件写得够久,迟早会遇上那个令人闻之色变的 OSError: [Errno 24] Too many open files。 通常,这算是一种成人礼。你忘了关闭文件,或者打开数据库连接时没用上下文管理器,于是进程悄悄泄漏文件描述符(FD),直到操作系统介入把它杀掉。 但最近,我们团队遇到了一次隐蔽得多的 FD 泄漏。问题并不直接出在我们的代码上,而是第三方库的 bug、Microsoft 365 激进的限流,以及“全量摄取”这一架构决策共同酿成的一场完美风暴。 下面就是我们如何借助 exchangelib 追踪并修复 Python 邮件摄取管道中文件描述符泄漏的故事。 我们当时在构建一个合规与归档工具,需要下载 Microsoft 365 租户中所有收件箱的全部邮件。由于数据量巨大且项目有特定要求,我们选择通过优秀的 Python 库 exchangelib 使用 Exchange Web Services(EWS)API。 我们的摄取 worker 设计为遍历租户中的每个邮箱,完成认证,并分页读取收件箱中的每一封邮件。

我们摄取 worker 的简化概念循环

for mailbox in all_tenant_mailboxes: account = Account(primary_smtp_address=mailbox, credentials=creds, autodiscover=True) ingest_all_emails(account)

移动到下一个邮箱……

最初几个小时,worker 运行得十分顺畅。但大约六小时后,进程崩溃了。日志显示了一段庞大的堆栈跟踪,结尾是: OSError: [Errno 24] Too many open files 调查:追捕泄漏 我们的第一反应是检查自己的代码。是不是打开了附件却没有关闭?是不是创建了临时文件? 我们挂上 strace,并通过 Linux 的 /proc 文件系统检查进程的文件描述符:

检查我们 worker PID 打开的 FD 总数

ls -l /proc/<PID>/fd | wc -l

输出:1024(我们的 ulimit!)

看看这些 FD 到底是什么

lsof -p <PID> | awk '{print $5}' | sort | uniq -c 出乎我们意料的是,其中几乎没有普通文件或管道。输出绝大多数是 IPv4 和 IPv6 socket。具体来说,是成千上万条指向 outlook.office365.com 的 TCP 连接。 我们泄漏的不是文件,而是网络 socket。 我们深入 exchangelib 的源码和我们自己的实现,想弄清楚 socket 为什么一直不关闭。我们发现该库的连接池机制中存在一个 bug,但正是我们特定的使用模式,把原本的涓涓细流变成了洪水般的泄漏。 exchangelib 底层使用 requests,而 requests 利用 urllib3 做连接池。当我们完成某个收件箱所有邮件的摄取后,循环会移到下一个邮箱,前一个邮箱的 Account 对象随之超出作用域。 然而,由于该库在处理特定账户上下文的会话销毁时存在 bug,当一个收件箱的摄取完成时,底层的 TCP 连接从未被显式关闭,也没有归还到连接池。这个 socket 只是在操作系统层面被弃置,停留在 ESTABLISHED 或 CLOSE_WAIT 状态。 如果只是“收件箱处理完毕”这一个 bug,泄漏会慢得多。我们每小时大概处理 100 个收件箱。每个收件箱泄漏一个 socket,要好几天才会碰到 1024 的 FD 上限。 那为什么六小时就崩了?Microsoft 365 限流。 Exchange Online 会积极限制 EWS 连接。当我们触发限流,或者连接因网络瞬时故障而超时/断开时,exchangelib 会尝试恢复。 bug 正是在这里狠狠咬了我们一口:当连接失败或被限流时,该库本应丢弃坏掉的 socket 并打开一个新的。但由于状态管理 bug,“死掉”的 socket 没有被正确地从内部连接池中回收。它在操作系统层面仍然保持打开,完全无用,只是白白占用一个 FD。 每次 Microsoft 对我们限流(鉴于我们在拉取全部邮件,这种情况很频繁),我们就会产生多个“幽灵”socket。 既然等不及上游合并并发布补丁来修复这个库 bug,我们只能在自己的代码里实现一个变通方案。我们需要手动接管连接的生命周期。 我们发现,虽然 Account 对象没有正确销毁会话,但我们可以在处理完一个邮箱后,通过对底层的 Protocol 对象显式调用 close() 方法来强制销毁。 from exchangelib import Account, Configuration, Credentials def process_mailbox(mailbox_address, creds):

……初始化 account……

account = Account(primary_smtp_address=mailbox_address, credentials=creds, autodiscover=True) try: ingest_all_emails(account) finally:

修复方案:显式关闭底层 protocol/session

以强制关闭 TCP socket,然后再处理下一个收件箱。

if account.protocol and account.protocol.session: account.protocol.close() 第 2 步:为限流实现“熔断器” 为了阻止幽灵 socket 在限流事件期间不断增殖,我们添加了一个自定义的重试装饰器,捕获 ErrorRateLimitExceeded,并在退避之前强制彻底销毁 account 对象。 import time from exchangelib.errors import ErrorRateLimitExceeded def safe_ingest(account): retries = 0 while True: try:

尝试获取并处理邮件

fetch_emails(account) break except ErrorRateLimitExceeded as e:

在休眠前强制关闭连接,以防止幽灵 socket

account.protocol.close()

按 Microsoft 的建议进行指数退避

time.sleep(e.back_off_seconds) retries += 1 if retries > 5: raise 第 3 步:进程回收

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →