返回资讯中心
外部精选
大数据
#数据科学#机器学习

DuckDB 团队推出 DuckLake:一小时内在 DuckDB 上搭建湖仓

来源标题:Getting Started with DuckLake: Build a Lakehouse on DuckDB in Under an Hour

DuckDB 团队开源了湖仓表格式 DuckLake,把表元数据存进 SQL 数据库、数据存为 Parquet 文件,1.0 版本于 2026 年 4 月发布,提供稳定规范和向后兼容保证。教程演示用 DuckDB 从 Parquet 文件建表,元数据与快照信息可直接用 SQL 查询。

KDnuggetsShittu Olumide2026/11/13 · 4 天前17 分钟阅读

以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

step2_load.py

from common import connect, mark con = connect()

直接从1月的Parquet文件创建表。

con.execute("CREATE TABLE orders AS SELECT * FROM read_parquet('raw/orders_2026_01.parquet')") mark(con, "loaded") con.sql("SELECT count() AS rows, min(order_date) AS first_day, max(order_date) AS last_day FROM orders").show() con.sql("FROM lake.snapshots()").show() con.sql("FROM glob('lake/data/**/')").show()

CREATE TABLE ... AS 会读取 Parquet 文件,并将结果写入 lake。然后我们把该快照标记为 loaded。三个查询展示了 DuckLake 记录了什么。第一个确认数据(5,000 行),第二个列出快照,第三个列出数据路径下的文件。snapshots() 为每个快照返回一行,包含 ID、时间、schema 版本以及变更摘要。这些是其他格式保存在文件里的元数据,而在这里它是一张可以查询的表。

python step1_make_data.py python step2_load.py

先运行 step 1 创建文件,然后运行 step 2 构建 lake。你现在应该有一个 lake/ 文件夹,里面包含 metadata.ducklake,以及一个包含 Parquet 文件的 data/ 文件夹。

下面每次变更都会创建一个新快照。

step3_change.py

from common import connect, mark con = connect()

1. 追加2月数据。

con.execute("INSERT INTO orders SELECT * FROM read_parquet('raw/orders_2026_02.parquet')") mark(con, "appended")

2. 更新多行:1月初已发货的订单现在标记为已送达。

con.execute("UPDATE orders SET status = 'delivered' WHERE status = 'shipped' AND order_date

首先,INSERT 追加了2月的5,000行。其次,UPDATE 修改了数百行,文档将 DuckLake 中的更新描述为先删除后插入,因此旧行被删除文件屏蔽,新版本作为新数据写入。第三,两条 ALTER TABLE 语句添加了一个 channel 列,并将 amount 重命名为 total。schema 变更属于元数据操作:现有的 Parquet 文件不会被重写,catalog 将旧文件映射到新的表结构。我们标记每个阶段,然后打印快照列表。用 python step3_change.py 运行它。你应该会看到每条语句对应一个新快照,并且旧行在 channel 列中显示 NULL。

因为每次变更都是一个快照,所以任何表都可以按它当时的样子查询。

step4_time_travel.py

from common import connect, mark, markers_so_far con = connect() m = markers_so_far()

三个历史时间点的行数。

for name in ["loaded", "appended", "evolved"]: n = con.execute(f"SELECT count(*) FROM orders AT (VERSION => {m[name]})").fetchone()[0] print(f"{name: {m['loaded']}) LIMIT 3").show()

制造一个错误,然后从历史中撤销它。

con.execute("DELETE FROM orders WHERE region = 'west'") mark(con, "mistake") print("after the mistake:", con.execute("SELECT count() FROM orders").fetchone()[0], "rows") con.execute(f""" INSERT INTO orders (order_id, order_date, region, status, total) SELECT order_id, order_date, region, status, total FROM orders AT (VERSION => {m['evolved']}) WHERE region = 'west' """) print("after the restore:", con.execute("SELECT count() FROM orders").fetchone()[0], "rows")

AT (VERSION => n) 子句是 DuckLake 的时间旅行语法。循环统计三个标记点处的行数。你应该会看到 loaded 之后为 5,000,appended 之后为 10,000,evolved 之后为 10,000。下一个查询读取第一个快照,并返回旧的列名 amount,因为时间旅行返回的是当时的 schema。

然后我们模拟一个错误:DELETE 删除了所有 west 区域的订单。为了撤销它,我们从 evolved 快照中把这些行插回去,该快照仍然包含它们。恢复操作指定了列名,因为表现在多了一个 channel 列,并读取 total,即该快照中该列的名称。最终计数应该回到 10,000。你也可以按时间而不是按 ID 进行时间旅行,例如 AT (TIMESTAMP => now() - INTERVAL 10 MINUTE)。

每次写入都会留下文件,因此 lake 需要清理维护。

step5_maintenance.py

from common import connect con = connect()

每次写入都产生了新文件。将相邻的小文件合并为较大的文件。

con.sql("SELECT * FROM ducklake_merge_adjacent_files('lake')").show() con.sql("FROM glob('lake/data/**/*')").show()

ducklake_merge_adjacent_files 将相邻的小文件合并为较大的文件,为它创建的每个文件返回一行,文档指出它只合并共享同一 schema 版本的文件。第二个查询再次列出 data 文件夹,以便你进行比较。用 python step5_maintenance.py 运行它。

实践中还有三点很重要。第一,DuckLake 从不删除旧数据文件,因为时间旅行需要它们。要回收空间,你必须使快照过期,然后清理文件,文档建议使用 CHECKPOINT 语句定期执行所有这些操作。使快照过期会让你无法再回到该快照,因此在安排定期任务之前要慎重设置保留策略。第二,数据内联默认开启,限制为 10 行:极小的写入会进入 catalog 而不是新建 Parquet 文件,ducklake_flush_inlined_data 稍后会将它们移出。这就是为什么我们插入 5,000 行会产生文件,而插入三行则不会。第三,DuckDB 文件 catalog 只允许单个客户端。对于多用户场景,请在 PostgreSQL 上创建 lake:

ATTACH 'ducklake:postgres:dbname=ducklake_catalog host=localhost' AS lake (DATA_PATH 'lake/data/');

这是相同的 ATTACH,只是使用 PostgreSQL catalog,取自连接文档和 catalog 指南。数据库必须已存在,并且你需要先安装 postgres 扩展。本教程中的其他所有语句保持不变。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →