Moraine 扩展让 DuckLake 目录直接存进对象存储,无需独立目录数据库
来源标题:DuckLake in object storage, powered by SlateDB
Moraine 是 DuckLake 的新扩展,它用嵌入式事务键值存储 SlateDB 代替 SQLite、Postgres 等目录数据库,把目录和数据文件放在同一对象存储桶里。该扩展还提供 DuckDB 原生索引以加速查询,加载后可通过 ATTACH 语句直接读写 S3 上的数据湖。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在 GitHub 上查看 DuckLake 将表数据以 Parquet 文件的形式存储在对象存储中,并将它的 catalog 托管在 SQL 数据库里:SQLite、Postgres 或 DuckDB(通过 Quack 提供服务)。数据库层提供事务一致性和 ACID 保证,但需要额外托管一台服务器。 Moraine 免去了单独的 catalog 数据库。它改由 SlateDB 提供 catalog,这是一个同样位于对象存储中的嵌入式事务型键值存储。这意味着 catalog 与数据文件位于同一个 bucket 中。此外,Moraine 是唯一为 DuckLake 提供 DuckDB 原生索引以加速查询的扩展。 LOAD 'moraine.v2.0.0.linux_amd64.duckdb_extension'; CREATE SECRET aws_secret (TYPE s3, KEY_ID '…', SECRET '…', REGION 'us-west-2'); ATTACH 'ducklake:moraine:s3://bucket/lake' AS lake (DATA_PATH 's3://bucket/lake-data/', READ_WRITE); CREATE TABLE lake.events (id BIGINT, payload VARCHAR); INSERT INTO lake.events VALUES (1, 'hello, bucket'), (2, 'hello again'); SELECT * FROM lake.events; CREATE UNIQUE INDEX events_by_id ON lake.events (id); SELECT payload FROM lake.events WHERE id = 2; 你能得到什么 Section titled “What you get” 无需 catalog 服务器:没有 catalog 服务器需要部署或监控。唯一长期存在的资源就是一个存储 bucket。 空闲时不产生费用:空闲的 lake 只产生存储费用,没有计算或数据库托管费用。 Bucket 级持久性:catalog 就是 bucket 中的对象,因此它继承了 bucket 的持久性、复制和版本控制能力。在没有 writer 连接时取得的副本就是一个完整的 lake;参见 备份与副本。 索引化查找:通过 CREATE INDEX 创建、并与数据行在同一次提交中维护的、针对表列的有序索引,使按 key 的查询直接探测索引,而不是扫描每一个文件;参见 为列建索引。 什么时候不该用 Moraine Section titled “When not to use Moraine” 低于 5 ms 的提交。一次提交在一条 write-ahead log 的 PUT 落地后即持久化:在 S3 Standard 上为 50 到 100 ms,通过 META_WAL_PATH 将日志放在 S3 Express One Zone 上则为 5 到 10 ms。 大量独立的 writer 进程。由一个进程写入,其余进程以 READ_ONLY 方式 attach。参见 一个 writer,多个 reader。 INSTALL moraine FROM community。上架正在进行中。在此之前,签名构建来自 Moraine 自己的扩展仓库,只需执行一次 CREATE EXTENSION REPOSITORY 即可注册。 数据一览 Section titled “By the numbers” 相同的 DuckLake 工作负载通过同一个 DuckDB CLI 执行,只替换 catalog,各自运行在它实际会使用的存储上:Moraine 运行在 S3 上,同样的配置再将其 write-ahead log 放在 S3 Express 上,Postgres 运行在 RDS 上,而 DuckDB catalog 文件放在本地磁盘上,因为那是它唯一的选择。 一次提交就是一次对象写入,即让提交持久化的 write-ahead-log 条目,因此它的成本就是那次往返:在 S3 上约 28 ms,将日志放在 S3 Express 上则为 15 ms。这就是为什么在这里单个连接比本地文件上的 catalog 或附近的 Postgres 更慢,也是为什么没有服务器需要运行。Attach 是一次启动成本,由保持 attach 的进程支付一次。Moraine 在跨进程层面是单 writer 的——第二个 writer 进程会被隔离——而 reader 则不受此限制。同一进程内的连接共享一次 flush,因此当它们重叠时,吞吐量会上升,而其他方案则会下降。 Section titled “Status” Moraine 正在积极开发中,并已在 contour.app 投入生产使用。所有 DuckLake SQL,包括 CREATE、 INSERT、UPDATE、DELETE、时间旅行和维护操作,都可以在 Moraine 上运行。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。