返回资讯中心
外部精选
云计算
#容器平台#Backend development#Data#Databases#Podcast

DuckDB 推出 Quack 协议,按列批量流式传输查询结果

来源标题:DuckDB has an answer to “bloated” database messages

DuckDB 发布基于 HTTP 的 Quack 协议,以列数据分批流式传输查询结果,替代逐行发送的旧式协议。该协议于 5 月预览、10 月随 DuckDB 2.0.0 LTS 正式发布。DuckLabs 产品团队负责人 Guillermo Sánchez Dionis 表示,这能让开发者在查询仍在运行时就开始处理结果。

The New StackJennifer Riggins2026/11/15 · 2 天前11 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

早期的数据库协议是在大数据时代之前设计的。有些协议仍然逐行发送结果,每一行都重复列名和类型等细节。DuckLabs 产品团队负责人 Guillermo Sánchez Dionis 表示,结果就是“相当臃肿的消息”。当你要传输大量查询结果时,这种开销会不断累积。

DuckDB 的答案是 Quack,一种基于 HTTP 的协议,它在 DuckDB 生成查询结果时,以列数据批次的形式流式传输结果。该协议于 5 月预览,并在 10 月作为 DuckDB 2.0.0 LTS 的一部分发布。

在最新一期 The New Stack 播客中(录制于阿姆斯特丹的 DuckLabs 总部),Sánchez Dionis 解释了这种设计如何让开发者在查询仍在运行时就开始处理结果。

数据库协议是一套正式的规则和消息格式,规定了客户端应用程序如何与数据库服务器通信。它充当一种专用语言,让软件应用程序能够安全地通过网络发送 SQL 查询、接收结构化数据表并管理事务。它负责处理连接和认证、查询打包、数据序列化以及错误管理。

但据 Sánchez Dionis 称,大多数协议是在大数据时代之前为其他类型的系统设计的,采用序列化的行而不是列。他说,它们还添加了大量不必要的数据,比如每一行的列类型和列名。

“消息变得相当臃肿。这已经使得该协议不仅不适合分析系统,而且相当沉重,”他断言。随着分析系统协议的演进,它们确实开始使用列,但“它们仍然在做诸如一次序列化一个值之类的事情,以及其他效率很低的做法。现代系统正试图趋同于使用向量化执行,以便能够一次序列化更多值,并尝试使用更高效的列式数据格式表示来通过网络发送。”

他说,而 Quack 协议的目标是另一种高效的方法。

Quack 是 DuckDB 基于 HTTP 的客户端/服务器协议,其首个生产版本于 10 月 21 日在 DuckDB 2.0.0 中发布。这不仅标志着 Quack 走出预览阶段,而且该协议现在还提供了一些对开发者友好的功能:

  • CONNECT 语句允许开发者通过标准 SQL 命令连接并查询远程 Quack 服务器。
  • 新的 -serve CLI 参数可从命令行立即启动一个 Quack 服务器实例,而 -connect 则连接到该实例。
  • 多个客户端可以并发写入同一个数据库,事务在 DuckDB 的多版本并发控制(MVCC)隔离下处理。

“Quack 使用 DuckDB 的数据块——这是我们数据的列式表示。我们还以非常高效的方式进行序列化,因为我们是一个向量化引擎。我们还确保以流式方式发送结果,”Sánchez Dionis 解释道。

“最重要的事情之一是紧密耦合引擎。一旦开始产生结果,不是等待查询执行结束然后一次性序列化所有结果,而是在引擎发出结果时就进行序列化并发送。因此,客户端可以持续消费结果,而无需停止引擎。”

他说,对开发者来说,这意味着他们不需要做任何事情。

“我认为你会看到的最大优势是你将拥有非常小的内存占用”

“你在自己的笔记本电脑上舒适地运行查询,然后就能得到流式返回的结果。我认为你会看到的最大优势是你将拥有非常小的内存占用,”他说。“Quack 很酷的地方在于,无论你在哪里,都可以安装并加载它。你还可以在[同一]笔记本电脑上使用 Quack 扩展创建另一个客户端,它们将相互通信。”

然后,DuckDB 服务器的规模由你和你的团队决定。Sánchez Dionis 继续说道,在该服务器上运行的开销几乎为零,这是 Quack 迄今为止最大的效率提升。

预计在即将发布的 DuckDB 2.0 补丁版本中会有更多 Quack 改进,因为 DuckLabs 团队希望在服务器端建立稳定性。

这篇文章 DuckDB has an answer to “bloated” database messages 首次出现在 The New Stack 上。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →