返回资讯中心
外部精选
软件工程
#开发者实时流

工程师解析ClickHouse聚合难题:重复投递与延迟数据

来源标题:An Aggregate Is a Function, Not a Sum

一位开发者撰文指出,ClickHouse存储Kafka销售收据时,聚合设计难点不在数据量,而在流的三个特性:Kafka至少一次投递导致同一收据重复写入、数据可能延迟一周到达、以及流水线中断。这些特性使简单的累加求和无法得到正确结果。

Hacker News 最新alnovis2026/11/5 · 12 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

128 clickhouse data-engineering distributed-systems kafka 重复计数的报表

我参与的系统存储销售小票。每台收银机都会发送每一张小票,每张小票作为一条文档通过 Kafka 到达,由 ClickHouse 保存。

在原始文档之上,是人们真正会看的报表:每班收银员的小计、每家门店按小时和按天的合计、按商户在小票上自定义字段分组的营收。

听起来像是 ClickHouse 的教科书用例。插入行,聚合,完成。

真正让它变难的不是数据量,而是这条流的三个事实——每一个想当然的设计都会栽在上面:

在收银机上打印 一周前打印 只打印一次 通过 Kafka 投递 聚合在运行 同一张小票,投递了两次 迟到一周 管道宕机 一行就是一张小票:顶部是打印,底部是投递;正常的一张只需几秒

流会做三件累加和无法承受的事。

文档会重复到达。Kafka 的投递语义是 at-least-once。一批处理到一半失败,消费者重试,同一张小票被再次插入。任何“已插入内容的和”此刻都错了。

文档会迟到。大多数小票在几秒内到达,但一台离线一周的收银机会在重连时发送积压数据。一小部分但稳定的文档会迟到一天以上,有些迟到一个月。上周二的报表永远不会是最终版。

管道会停。负责计算聚合的组件有时会宕机:一次部署、一个节点重启、一个 bug。当它恢复时,不能丢失任何东西。

而报表的读取有真实的延迟预算:一次交互式调用应在几秒内响应,一份覆盖数百台收银机的重报表要在三十秒内完成。

第一个版本是经典做法:在插入时使用物化视图,把部分和写入 SummingMergeTree。每次插入加上自己的贡献,后台合并把行折叠在一起,报表读取预先汇总好的行。

consumer insert SummingMergeTree hour total: 500 batch fails halfway, retry Kafka the same batch again consumer insert again SummingMergeTree hour total: 1000

第二次插入是相加,而不是替换。总数里没有任何信息说明哪 500 被算了两次。

它很快,但它是错的。

一张重新投递的小票把它的和又加了一次,而一旦两个数字相加,之后就无法再减去正确的那一个。聚合不知道自己值的来源。

第二个版本用重算修复了重复计数:一个可刷新的物化视图定期从文档本身重建最近涉及的班次和小时的总计,重复项按文档键折叠。

这次正确了。但它读取的是主文档表,这张表很宽(payload、状态、几十个列),并且按收银机和文档键排序,而不是按时间排序。重算按日期过滤,而这里正是坑我们的地方:在 ClickHouse 中,对一张未按日期排序的表做日期过滤会裁掉整个分区,但裁不掉 granule(稍后详述 granule)。一次扫描读了 4600 万行,只用到 50.8 万行:

older to newer date filter 0 granules read 6 of 6 granules read whole, for the few newest rows in each

示意图。日期在月份之间切分,但在一个月内部,它会切过每一个 granule。

在生产环境中,这些扫描开始撞上单查询内存上限,一次又一次失败。

第三个版本回到插入时累加,并试图让重复不可能发生:在加一张小票之前,检查它的键是否出现过。键查找被实现为一张近期键表之上的 ClickHouse dictionary。

dictionary 驻留在内存中,而其中的一个键并不小:在我们的测试集群上是 161 字节。每台收银机一个月的键放不下,于是事情开始循环:

dictionary fails to load insert writes its rows, then fails consumer retries the same batch again and again receipt 1234 in storage copy 1 copy 2 copy 3 copy 4 and counting

每次重试都在失败前写入了行,所以每次重试都多存了一份副本。

文档开始各自落地上好几次。

对重复的修复变成了重复的制造机。

第四个版本彻底放弃了存储聚合:在读取时从文档计算每一份报表,用按文档键的 GROUP BY 折叠重复项。没有状态,没有会失步的东西,重新投递和迟到文档都免费处理。

它正确,而且慢到任何调优都救不了。一份覆盖 600 个班次的报表读了约 35 亿行。在我们的测试集群上,第 99 百分位:

把三个生产故障并排来看是转折点。它们没有一个是由存储聚合导致的:

尝试 4 移除了存储,并在每次读取时为此付出代价,这使它栽在和尝试 2 相同的故障上。

于是问题变成:聚合能否被存储、在不记住键的情况下承受重复、并且在不读取全世界的情况下被重算?

要理解读取量为何如此重要,需要先了解 ClickHouse 如何读取。

一张 MergeTree 表被切分成 part,每个 part 又按默认 8192 行切分成 granule。主索引是稀疏的:它存储每个 granule 的第一个键,而不是每一行的键。

one part granule 18192 rows granule 2read whole granule 3read whole granule 4read whole granule 58192 rows WHERE register = 'B': granule 2 may end with B, so 2, 3 and 4 are read

索引知道每个 granule 从哪里开始,却不知道里面有什么。

当查询按主键过滤时,ClickHouse 找到可能包含匹配行的 granule,并整块读取它们。跳过索引(例如日期列上的 minmax)可以再丢弃一些 granule,但前提是 granule 内的值彼此接近。

后果是:查询读取多少,更多地取决于行的布局方式,而不是它需要多少行。如果你要的行散落在整张表中,你就会读取它们各自周围的 granule:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →