返回资讯中心
外部精选
软件工程
#开发者实时流

开发者尝试用开源版 ClickHouse 构建 Serverless 托管服务

来源标题:Building a Serverless ClickHouse

一位 Tinybird 开发者探索在开源版 ClickHouse 上构建 Serverless 托管方案。ClickHouse 官方的 SharedMergeTree 存算分离引擎仅在 ClickHouse Cloud 提供,开源版曾依赖的零拷贝复制已被弃用移除,而新的 plain_rewritable 磁盘将元数据和数据都存入 S3,为开源版实现存算分离提供了可能。

Hacker News 最新adastral2026/11/15 · 2 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

构建托管的 ClickHouse 服务一直很难。除了大规模运行复杂技术所面临的日常问题之外,其背后的公司还运营着自己的云,有些组件只存在于那里。

我在 ClickHouse 中见过的最大变化之一是 SharedMergeTree,这是一种表引擎,它将数据存储在 S3 中,并将元数据保存在 ClickHouse Keeper 中,从而实现了许多用户所要求的计算与存储分离。它仅在 ClickHouse Cloud 中可用。在开源版本中,最接近的是零拷贝复制,但它从未达到生产就绪状态,后来被弃用并移除。

一切似乎都完了,但随后 ClickHouse 中出现了一种新型磁盘:plain_rewritable,它直接将元数据和数据都存储在 S3 中。它带来了许多注意事项¹,但它为开源版本中的计算与存储分离打开了大门。

与此同时,在 Tinybird 工作时,我一直有一种感觉:虽然我们让 ClickHouse 更易于使用,但人们把我们看作又一个 API 工具,而不是一个真正的数据库。

因此,我尝试想象在这三个前提下构建托管 ClickHouse 服务的最简单方式:

这看起来像是一个推销,而且 ClickHamlet 是一个你可以尝试的真实服务,但这是一篇关于我如何构建其背后一切的技术文章。

核心思想是一个路由器,从外部看它就像一个 ClickHouse 服务器。你使用已有的客户端连接,而在它背后是常规的 ClickHouse 服务器,它们只在有工作要做时运行。它们都不拥有数据:每张表都位于 S3 上的 plain_rewritable 磁盘中,因此任何服务器都可以打开它。这带来了几条规则:

我构建的第一部分是路由器,首先要证明的是兼容性:如果 clickhouse client 不相信它正在与一个真正的 ClickHouse 服务器通信,那么其他一切都无关紧要。协议看起来很复杂,但你不必自己编写它:链接 ClickHouse 自己的 dbms 库就能获得协议处理和 SQL 解析器。所以第一个版本非常简单,几乎什么都没做:应答握手,接受任何用户名和密码,解析查询,并返回一个带类型的单行表。³

HANDSHAKEQUERYMORE QUERIES,THE SAME WAYclickhouse clientSERVERHelloNAME, VERSION, REVISION, DATABASE,USER, PASSWORDANY USER AND PASSWORDWILL DOHelloNAME, VERSION, REVISION, TIME ZONEQUOTA KEYQueryID, SETTINGS, COMPRESSION, SQL TEXTPARSES THE SQLData: ONE ROW, ITS TYPEtypeSelectEndOfStream… OR, IF THE SQL DOESN’T PARSE:ExceptionPingPongBETWEEN QUERIES,KEEPS IT ALIVEAND SO ON, UNTIL THE CLIENT CLOSES第一个服务器接受任何用户名和密码,解析每个查询,并返回其类型,如果 SQL 无法解析则返回异常。

❯ clickhouse --port 9001 ClickHouse client version 26.9.19.9 (official build). hello :) SELECT 1 Query id: d92c18b7-fae3-410c-836f-e665d0095ae1 ┌─type───┐

  1. │ Select │ └────────┘ 1 row in set. Elapsed: 0.000 sec. hello :) EXPLAIN SELECT 1 Query id: f37c15a5-a3d6-413e-b4a5-a0e8d8183cb6 ┌─type────┐
  2. │ Explain │ └─────────┘ 1 row in set. Elapsed: 0.000 sec. hello :) Bye.

这很简单,但那一列是其他一切的关键。一旦路由器知道查询类型,它就知道应该由读取器还是写入器来运行它。

你可能会争论,我们是否需要用一个用 C++ 编写的模块,坐在 ClickHouse 的代码库之上,仅仅为了提取查询类型并将其转发到正确的后端。理论上这项工作很简单,并且在任何语言中检测一个查询是 select 还是 insert 都不应该那么困难。但我决定这样实现有几个原因。

所以路由器是用 C++ 写的。另一部分是我称之为控制器的组件,业务逻辑就在那里。它可以用任何语言编写,只要热路径足够快(稍后会详细说明)。它的工作:

CLIENTNATIVE PROTOCOLROUTER · ClickHamletAST TO KIND + TABLESRELAYS RESULTS BACKBACKENDSCONTROLLER (APP)SERVICES, TABLE REGISTRY,BACKENDSSELECTINSERT, DDLREADERclickhouse-serverIDLE STOPWRITERclickhouse-serverIDLE STOP + DRAINREADS ONLYWRITES PARTSS3: TABLE DATA AND METADATA (.sql FILES)客户端只能看到路由器。读操作发往读取器,写操作发往写入器,两者都从 S3 读取相同的表。

这是热查询的流程,当后端已经在运行时:

CLIENTROUTERCONTROLLERBACKEND (WRITER)QUERY, TLS ON 9440PARSE, PICK WRITER OR READERPOST /backend, KEPT CONNECTIONPASSWORD: ONE SQLite READSERVICE LOCK: WRITER RUNSMARK IT USEDABOUT 0.2 ms IN ALLHOST, PORT, PASSWORDPOOLED CONNECTION, THE QUERYRESULT BLOCKSRELAYED AS THEY COMERETURNS IT TO THE POOL对运行中后端的查询只需调用一次控制器,大约 0.2 毫秒。

困难的部分是决定每个查询的去向,并确保在任何时候每个服务只有一个写入器。

每个服务获得一个写入器,以及可选的读取器。两者都是从官方镜像启动的常规 ClickHouse 服务器。它们之间唯一的区别在于它们如何看待服务的 bucket。

写入器拥有 bucket。它的表和数据库的元数据位于覆盖整个 bucket 的 plain_rewritable 磁盘上,因此从写入器的角度来看,它只是一个带有 S3 磁盘的服务器。每个 INSERT、每个 DDL 语句,以及对系统表的每个 SHOW 或查询都会发往那里,因为它是唯一知道所有表的后端。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →