
团队将后台迁移至 Python 3.15,并用惰性导入让 CLI 提速约4倍
来源标题:Adopting Python 3.15's lazy imports: a 4× faster CLI, and where they didn't help
团队于 11 月 3 日将后台迁移到 Python 3.15.2,采用 PEP 810 的显式惰性导入后,CLI 的 --help 启动速度提升约 4 倍。这一改动历经 6 个 PR 完成,同时他们还引入了内置 frozendict 并记录了新的采样分析器。终端 UI 和 MCP 服务两个入口的改善幅度则明显小于 CLI。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026 年 11 月 8 日 开发博客#python#性能#开发者工具
11 月 3 日,我们把后台系统迁移到了 Python 3.15.2。它是一个 Python 包,带三个前端:一个命令行工具、一个基于 Textual 构建的终端 UI,以及一个 MCP server,让 AI agent 能执行同样的操作。它们共同从域名注册商那里获取我们的域名资产清单、为其定价,并构建这个网站。
这三个前端启动都很慢。在负载较高的开发用 Mac 上,CLI 的 --help 大约要 1.3 秒,因为 CLI 的主模块在模块作用域导入了几乎所有东西:站点生成器、注册商客户端和数据库层。Python 3.15 引入了显式惰性导入(PEP 810),于是我们用上了。我们还采用了新的内置 frozendict(PEP 814),并为新的采样分析器(PEP 799)补了文档。
这项工作一共用了六个 pull request。本文讲我们测了什么、在推迟任何导入之前搭建的安全闸门、惰性导入并不惰性的那些地方,以及结果——包括两个改进远小于 CLI 的入口点。
python -X importtime 会打印每个导入耗时多久,包括它触发的导入。在 CLI 上,开销大的导入链服务的都是 --help 从不做的工作:
这些数字来自负载均值约 50 时的一次运行。它们是累计值,所以嵌套的包会重叠。
为了界定推迟导入最多能省多少,我们用 PYTHON_LAZY_IMPORTS=all 运行了每个入口点,这会让所有导入都变成惰性。输出保持逐字节一致。CLI 的 --help 从 2,230 ms 降到 474 ms,TUI 从 3,615 ms 降到 209 ms,导入 MCP server 从 5,667 ms 降到 1,682 ms。那次运行时的负载均值在 140 到 240 之间,所以只有比例有意义。
全局模式只是一个开关,但我们没有把它放进生产环境。下文描述的 Lifeguard 分析器发现,在我们的包及其依赖的 801 个文件中,有 160 个存在导入时副作用,推迟导入可能会改变这些副作用。其中之一是我们自己的配置模块,它在被导入时会从 .env 文件填充 os.environ。之后所有读取环境的东西都依赖那次导入先运行。
显式语句只在写下的地方生效,审查者能看到它们:
from app import config # fills os.environ at import, so it stays eager
lazy from app import website
lazy from app.clients import build_registrar
lazy import app.valuation
示例中的模块名做了简化。
被推迟的导入会把目标模块的导入时工作从启动移到首次使用。只有当这些工作不依赖其间会变化的东西时,这才是安全的。我们不想对每条语句都靠肉眼判断,所以第一个 pull request 只加了闸门,没加任何惰性语句。
闸门运行 Lifeguard——Meta 的惰性导入安全静态分析器,版本固定为 0.7.0。Lifeguard 会报告哪些模块有导入时副作用、哪些必须急切加载其导入、哪些会形成导入循环。闸门随后用 ast 找出每条惰性语句,并检查五条规则:
闸门以 fail-closed 方式工作。如果它没有扫描到任何文件、如果 Lifeguard 以错误退出、如果 Lifeguard 的报告没有点名我们的任何模块,或者如果某个 allowlist 条目没有匹配到任何惰性语句,它都会失败。只要包内、allowlist 或锁文件中的任何 Python 文件发生变化,提交钩子就会运行它,因为任何编辑都可能给模块带来新的导入时副作用。对我们的包及其依赖跑一次 Lifeguard 需要 8.4 秒。
规则 1 需要先改代码。CLI 的主模块按路径加载一个部署脚本并在 sys.modules 中注册它,因此 Lifeguard 要求整个模块急切加载。把那个加载器移到一个小辅助模块后,CLI 才符合条件。
我们导入链上最重的模块是不安全的,因为每个在被导入时都会读取打包的模板或词表。推迟其中一个需要一条 allowlist 条目,写明理由和目标当前的影响:
[[allow]]
importer = "app.cli.main"
target = "app.direct_sale"
reason = "At import it only builds an importlib.resources path to its packaged agreement templates, which does not depend on the working directory, the environment or sys.path. The templates are read later, inside functions."
effects = ["UnsafeMethodCall importlib.resources.abc.Traversable.joinpath"]
理由必须解释为什么这些副作用可以稍后运行。特别是,它们不能依赖命令在启动后改变的状态,比如工作目录、环境变量或 sys.path。被推迟模块的导入错误也会从启动移到首次使用,理由中必须接受这一点。
effects 列出 Lifeguard 对目标的发现,不含行号。如果列表变了,闸门失败并打印新的列表。那次检查抓到了一次真实的变化。另一个 pull request 在 CLI 改动还在审查时被合入,它让站点生成器在导入时从另一个模块的表构建一个集合。在变基时,Lifeguard 报告站点生成器有两个新副作用,闸门拒绝了旧条目。我们确认理由仍然成立,并记录了新的影响。
Lifeguard 并非什么都看得见。一个只调用 print 的探测模块被报告为符合条件。闸门执行的是分析器的模型,而审查者仍然要读每一条新的惰性语句。今天闸门在四个文件中检查 59 条惰性语句,有 8 条 allowlist 条目。
lazy from m import f 会在导入方模块首次使用 f 时绑定 f,而不是在模块加载时。如果某个测试在那次首次使用之前 patch 了 m.f,导入方在 patch 结束后仍会保留 mock:
# user.py
lazy from src import f
def call():
return f()
from unittest import mock
import user # src has not been imported yet
with mock.patch("src.f", lambda: "mock"):
print(user.call()) # mock: the first use binds f to the patch
print(user.call()) # still mock after the patch is undone
这就是 Python 3.15.2 为我们打印出的结果。lazy import m 能避免这个问题,因为每次调用都会查找 m.f。不过切换到那种写法意味着重命名每个调用点,而我们的 CLI 测试会 patch CLI 上的名字
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。