
pgvectorfast 发布:用快速缓冲池加速 PostgreSQL 向量检索
来源标题:Pgvectorfast: Speeding up pgvector with a fast buffer pool
pgvectorfast 是 pgvector 的高性能即插即用增强版,通过快速共享缓冲池加速 PostgreSQL 中的向量相似性搜索与分析查询。该项目基于 pgvector,作为标准扩展运行在未修改的 PostgreSQL 18/19 上,完整兼容 pgvector 的 vector、halfvec、bit、sparsevec 数据类型、距离运算符以及 hnsw、ivfflat 索引。其针对原生缓冲管理器在 HNSW 图遍历中页翻译与原子锁开销大的问题,替换为新的缓冲池实现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
pgvectorfast 是 pgvector 的高性能即插即用增强版本,通过快速共享缓冲区池加速 PostgreSQL 中的向量相似度搜索和分析查询。
pgvectorfast 基于 pgvector,是运行在未修改的 PostgreSQL 18 和 19 服务器上的标准 PostgreSQL 扩展,用于快速向量相似度搜索。它完整保留了与所有 pgvector 数据类型(vector、halfvec、bit、sparsevec)、距离运算符和索引类型(hnsw、ivfflat)的 SQL 及磁盘格式兼容性。完整 SQL API、索引参数和使用指南请参阅 pgvector 文档。
实测的召回率、延迟分解和实验配置请参阅详细基准测试结果。
PostgreSQL 默认的缓冲区管理器会将每次页面引用都通过分区共享哈希表进行转换,并在每次页面读取时获取原子 pin 和缓冲区内容锁。在向量索引查找和分析扫描/连接中——尤其是在 HNSW 图遍历期间,每次查询会执行数千次不规则邻居查找——页面转换、pin/unpin 原子操作流量以及同步随机 I/O 成为主要瓶颈。
pgvectorfast 用 Calico 缓冲区池(Making Array-Based Translation Practical for Modern, High-Performance Buffer Management)替换了 PostgreSQL 的共享缓冲区管理器,结合了三种技术:
Docker
拉取并运行一个即用型镜像,适用于 x86-64(linux/amd64),包含 PostgreSQL 18、匹配的调试符号(postgresql-18-dbgsym),并已预配置 shared_preload_libraries = 'vectorfast':
docker run -d
--name pgvectorfast
-e POSTGRES_PASSWORD=mysecretpassword
-p 5432:5432
zxjcarrot/pgvectorfast:pg18
可用标签:pg18 / latest(postgres:18-trixie)、pg18-trixie、pg18-bookworm,以及发布标签上的 <version>-pg18。
docker build --build-arg PG_MAJOR=18 -t pgvectorfast .
APT(Debian)
面向 Linux x86-64(amd64)的预构建 postgresql-18-pgvectorfast 包已针对 PostgreSQL PGDG APT 仓库发布,适用于 Debian 12(bookworm)和 Debian 13(trixie)。它们声明了对 postgresql-18-pgvector 的 Conflicts/Replaces/Provides,并依赖匹配的 postgresql-18-dbgsym 符号。(Ubuntu PGDG 包使用 -flto=auto 编译 PostgreSQL,Calico 在启动时会拒绝这种构建,因为 LTO 会内联内部缓冲区管理器例程;在 Ubuntu 上,请使用 Docker 镜像或针对非 LTO 的 PostgreSQL 构建从源码编译。)
sudo install -d -m 0755 /etc/apt/keyrings
curl -fsSL https://mitdbg.github.io/pgvectorfast/pgvectorfast.asc | sudo tee /etc/apt/keyrings/pgvectorfast.asc >/dev/null
echo "deb [signed-by=/etc/apt/keyrings/pgvectorfast.asc] https://mitdbg.github.io/pgvectorfast $(. /etc/os-release && echo "$VERSION_CODENAME") main" | sudo tee /etc/apt/sources.list.d/pgvectorfast.list
sudo apt-get update
sudo apt-get install -y postgresql-18-pgvectorfast
继续阅读快速开始,了解如何预加载 vectorfast 并启用扩展。
PGXN
使用 pgxnclient 从 PGXN 安装。由于 PGXN 会针对你的 PostgreSQL 安装从源码编译,请先确保你已安装 PostgreSQL 18 或 19 开发头文件(pg_config)、非 LTO 服务器符号(例如 Debian PGDG 上的 postgresql-18-dbgsym,或未剥离的源码构建)、libcapstone-dev(或 Python pip)、C 编译器以及 GNU Make:
sudo apt-get update
sudo apt-get install -y pgxnclient build-essential libcapstone-dev postgresql-server-dev-18 postgresql-18-dbgsym
sudo pgxn install pgvectorfast
如果你的目标 pg_config 不在 PATH 首位(或者你以非特权用户身份构建),请传入 --pg_config 和 --sudo:
pgxn install --sudo --pg_config /path/to/pg_config pgvectorfast
继续阅读快速开始,了解如何在 postgresql.conf 中预加载 vectorfast 并激活 Calico。
前置条件
Linux x86-64
PostgreSQL 18 或 19,包含服务器开发头文件(pg_config)和非 LTO 服务器符号:可以是未剥离的源码构建,也可以是安装了匹配调试符号的打包构建(例如 postgresql-18-dbgsym)
C 编译器(GCC 或 Clang)和 GNU Make
Capstone(来自系统包的 libcapstone-dev 4.x/5.x,或在 make 期间通过 Python pip 自动引导为 capstone==5.0.6 放入 ~/.cache/pgvectorfast/python-deps;可用 CAPSTONE_PREFIX=/path/to/capstone 覆盖;运行时必须保持可用)
构建与安装
git clone https://github.com/mitdbg/pgvectorfast.git
cd pgvectorfast
make
make install # 可能需要 sudo
如果你的目标 PostgreSQL 安装不在 PATH 首位,请传入 PG_CONFIG:
make PG_CONFIG=/path/to/pg_config
make PG_CONFIG=/path/to/pg_config install
快速开始
将 vectorfast 添加到 postgresql.conf 中的 shared_preload_libraries 并重启 PostgreSQL:
shared_preload_libraries = 'vectorfast'
使用以下任一方式启用 pgvector 和 Calico 缓冲区池(以超级用户身份,在事务块之外):
使用一条命令:
CREATE EXTENSION vectorfast;
或者显式创建扩展并激活 Calico:
CREATE EXTENSION vector;
CREATE EXTENSION calico;
CALL calico.activate();
后续 PostgreSQL 重启后,运行 CALL calico.activate(); 以重新激活缓冲区池。
CREATE TABLE items (id bigserial PRIMARY KEY, embedding vector(128));
CREATE INDEX ON items USING hnsw (embedding vector_l2_ops);
SELECT * FROM items ORDER BY embedding <-> '[...]' LIMIT 10;
所有向量类型、距离运算符、迭代扫描和索引选项请参阅可运行的入门示例和完整的 pgvector 文档。
参数
上下文
默认值
描述
calico.optimistic_reads
会话 / 用户
on
在 HNSW 遍历期间启用无锁乐观元组读取(vector_l2_ops)。
hnsw.enable_prefetch
会话 / 用户
on
在 HNSW 搜索期间启用批量邻居组预取(CPU 预取 + 异步读取批处理)。
引用 pgvectorfast
如果你使用了 pgvectorfast,请按以下方式引用我们的工作
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。