DuckLake 1.1 发布:用 SQL 数据库管理数据湖元数据
来源标题:DuckLake 1.1 solves the absurd complexity of data lakes at AI scale
DuckLabs 推出开源湖仓格式 DuckLake 1.1,将表元数据存入标准 SQL 数据库而非分散在对象存储的清单文件中。该版本于 10 月与 DuckDB 2.0.0 LTS 一同发布,数据以 Parquet 文件存储。开发者 Pedro Holanda 称此类格式旨在让用户无需迁移即可交换数据库系统。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
如果用一个普通的 SQL 数据库来追踪数据湖的文件,湖仓架构能简化到什么程度?这正是本期 The New Stack 播客探讨的问题。
DuckLake 是由总部位于阿姆斯特丹的 DuckLabs 创建的一种开源表湖仓格式,它把表的元数据存放在标准 SQL 数据库里,而不是把清单文件散落到对象存储中,从而充当数据管理的“交通警察”。与传统的表格式不同,DuckLake 把湖仓元数据当作关系数据库问题来处理。这些先进的数据湖特性由 Parquet 文件和 SQL 数据库提供支持,降低了传统湖仓的复杂度。
今年 10 月,DuckLake 1.1 与 DuckDB 2.0.0 LTS 一同发布。The New Stack 在 DuckLabs 的阿姆斯特丹总部与 DuckLake 首席开发者、DuckLabs 首席工程师 Pedro Holanda 坐下来聊了聊这次发布。Holanda 从 DuckDB 开源项目还只是一个早期研究原型时起就一直为其做贡献,他在我们的对话中分享了 DuckLake 的完整演进历程。
“这些湖仓格式存在的意义,是让人们无需迁移就能交换数据库系统,”Holanda 对 The New Stack 说。由于复杂度太高,“你需要一个数据库系统来追踪哪张表的最后一个版本是什么。”
Holanda 表示,DuckLake 应用了数十年的研究成果,在数据快速增长的时代减少文件数量、进而降低复杂度,并利用了所有使用数据库系统的人都熟悉 SQL 以及 schema 工作方式这一点。
“简单之处在于你获取数据的方式,”Holanda 谈到 DuckLake 时说。“你在某处发出查询。服务器会把这些问题回答回来,而你确切知道需要读取哪些 Parquet 文件。所以 Parquet 文件不变,变的只是目录。”
数据湖的维护者通常要执行许多维护任务。他说,如果最终产生了大量文件,DuckLake 允许你把它们粘合成一个文件,以减少请求数量。这也可以跨多个快照进行,进一步减少文件数量。它还通过内联(inlining)和刷新(flushing)解决了流式数据湖和湖仓中的“小文件问题”。
而对于传统数据湖,当多个数据源同时插入数据时,“你最终会得到非常多文件,所以查询时你得遍历一堆元数据文件才能弄清楚需要读取哪些 Parquet 文件,然后还有一大堆 Parquet 文件要读,”Holanda 说,这会让一切变慢,让开发者感到沮丧。
DuckLake 以快速、易用、无需庞大的服务器集群即可运行而著称。部分原因在于 Parquet 与 DuckDB 的存储方式非常相似:两者都是列式,并按行组组织,从而把转换步骤降到最低。
“我们在构建 DuckLake 时意识到一件事:‘嘿,我们现在有一个数据库系统了,我们有一个目录;如果我们来一个激进的想法,把数据存到表上会怎样?’”他说。“有了 DuckLake,你实际的数据表示就是目录中的一张表,我们把这叫做内联。”
“有了 DuckLake,你实际的数据表示就是目录中的一张表,我们把这叫做内联。”
在 10 月底的亚马逊第三季度财报电话会议上,CEO Andy Jassy 指出了在数据存储和分析引擎之间移动数据的复杂性,尤其是随着 AWS 客户产生的数据持续增加。亚马逊以“吃自己的狗粮”闻名,Jassy 把 DuckDB 对这一复杂性的解决方案列为收购 DuckLabs 的理由。
“通过收购 DuckLabs,DuckDB 将成为 AWS 存储与分析领域的通用 SQL 方言,用一个快速、易用且无处不在的现代分析引擎简化数据处理,客户将能够只写一次 SQL 查询,然后用任何 AWS 分析服务来执行,”Jassy 说。“在分析领域,客户将第一次在查询引擎之间实现零迁移成本或可移植性成本。这是一件大事,你可以想象它也将如何帮助 agent 高效地进行查询。”
DuckDB 和 DuckLake 仍在 MIT 许可证下保持免费和开源,由独立的 DuckDB 基金会监管。
总体而言,这次 DuckLake 新版本在带来新功能的同时,还包含 200 多个质量和稳定性方面的 bug 修复,并且可以在 DuckDB 中原生运行。
The post DuckLake 1.1 solves the absurd complexity of data lakes at AI scale appeared first on The New Stack.
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。