返回资讯中心
外部精选
软件工程
#开发者实时流

开发者发布 funkycache:用 SQLite 缓存 Python 函数

来源标题:Funkycache: A Python library to cache functions in SQLite

开发者推出 Python 库 funkycache,将函数缓存逻辑封装进 SQLite,取代此前只能存取字符串、需为每个函数手写缓存代码的旧方案。作者此前为静态站点构建系统写了基础缓存,但因代码难以测试、存在隐蔽缺陷,发布构建时会直接删掉缓存。新库旨在简化使用与测试。

Hacker News 最新wmchen2026/11/16 · 昨天27 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

六个月前,我写了一个基于 SQLite 的缓存,用来加速本站的构建系统。静态站点生成器是缓存的理想应用场景,因为其中有许多步骤具有确定性行为且没有副作用。在一个有数百个页面的站点上,即使每个步骤只节省几毫秒,累积起来也是可观的提升。

最初的缓存相当基础。它支持字符串的存取,用命名空间区分不同函数,除此之外就没什么了:

from mosaic.cache import SQLiteCache cache = SQLiteCache("example.db") cache.set(namespace="fibonacci", key="10", value="55") print(cache.get(namespace="fibonacci", key="10"))

这体现了缓存的价值,但它提供的只是缓存存储,而非缓存逻辑。如果我想缓存一个函数,就得为每个函数单独编写保存和读取缓存值的逻辑。这类代码很多都难以测试,而且存在不易察觉的缺陷。我对这些代码太没把握,以至于每次构建站点准备发布时,都会把缓存删掉。

我想要更好的方案,于是上周写了 funkycache——一个新库,封装了我所有的缓存逻辑,使用和测试都容易得多。它可以把任意 Python 对象作为输入和输出存储,对调用方来说接口也简单得多。

要缓存一个函数,你创建一个 FunkyCache 实例,然后给函数加上装饰器:

from funkycache import FunkyCache cache = FunkyCache(storage="sqlite") def expensive_function(arg1: str, arg2: int, arg3: date) -> tuple[str, date]: ...

这是仿照标准库中的 functools.cache 设计的。这个耗时函数的输出会写入 SQLite 数据库,因此 Python 进程退出后仍然可用。

缓存会尽量智能地处理失效。如果包含 expensive_function 的源文件发生变化,该函数的缓存就会失效,并在下次调用时重建。

你还可以指定对其他文件和静态值的依赖,这些内容的变化同样会触发缓存失效:

from funkycache import FunkyCache cache = FunkyCache(storage="sqlite") files=["data/input.yml", "templates/example.html"], values=[pygments.version], ) def expensive_function(arg1: str, arg2: int, arg3: datetime) -> tuple[str, datetime]: ...

写 funkycache 时,我希望花一周时间深入思考缓存逻辑,彻底测试,然后几个月都不用再想它。你应该能在不理解其工作原理的情况下使用 funkycache——但如果你想了解,本文余下部分就来解释。

如果你想自己试试,funkycache 已发布在 PyPI 上,源代码就在本站。

这个缓存面向的是对给定输入总是产生相同输出的函数,因此输入就是缓存键。当我们装饰一个函数时,可以看到每次调用传入的参数:

from functools import wraps def my_decorator(func): def wrapper(*args, **kwargs): print({"args": args, "kwargs": kwargs}) return func(*args, **kwargs) return wrapper

这没有考虑调用同一函数的不同方式——例如位置参数与关键字参数,或者省略或覆盖默认参数。

为了得到完整且一致的参数集合,我使用了 inspect 模块:

import inspect sig = inspect.signature(func) bound = sig.bind(*args, **kwargs) bound.apply_defaults() cache_key = bound.arguments # {"arg1": val1, "arg2": val2, ...}

这样我就得到了一个包含函数全部参数的 Python 字典,无论调用方式如何,结果都相同。

Python 字典不可哈希,因此不能用作字典的键,也不能用作 SQLite 数据库的键。我们需要把它们序列化为字符串或字节序列。

对于这种序列化,我考虑了两个选项:pickle 和 JSON。在我有限的测试中,JSON 比 pickle 更快,所以我选择了 JSON。使用 JSON 还让我在加速序列化方面有了更多灵活性。

我最初的序列化就是简单的 json.dumps 调用,加上几个选项来确保顺序一致,并处理标准库不知道如何编码的类型:

json_key = json.dumps(cache_key, sort_keys=True, default=str)

开始使用 funkycache 后,这个编码步骤很快成了最慢的部分,于是我开始「缩减」参数,让这一步更快。缩减包括:

这些都是有损变换,但对缓存键来说没问题——我们永远不需要取回原始值。理论上不同的值可能产生碰撞的哈希键,但在我的规模下不太可能。(对我站点的一次干净构建只用到 32,000 个键。)

我的静态站点生成器中的函数处理的是文章内容之类的东西,所以单个函数参数可能有几千字节。你可以在 SQLite 中使用几 KB 的键,但最好别这么做——键越大,性能损失越大。

我写了一个小基准测试来比较三种方案:直接存储 JSON 编码的参数、用 MD5 哈希、用 XXH64 哈希。结果显示,小键长下三者相差无几,但键较大时 XXH64 明显更快,而 MD5 甚至比直接存储键到 SQLite 还慢:

2 42 62 82 1 02 1 22 1 4Key size (bytes)0.000.020.040.060.080.10Time (seconds)identity (insert)identity (lookup)MD5 (insert)MD5 (lookup)XXH64 (insert)XXH64 (lookup)基于这个基准测试,funkycache 在把 JSON 缓存键插入 SQLite 之前,会用 XXH64 对其进行哈希。

xxHash 系列哈希算法是我在这个项目中的一次愉快发现。它们明确以速度为设计目标,而非密码学安全。此前我一直用 MD5 做这件事,因为它广泛可用,而我把「弱」和「快」混为一谈了。实际跑一下基准测试才揭示了我的错误。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →