返回资讯中心
外部精选
软件工程
#开发者实时流

Zpq 0.5.2 发布:用 Zig 对本地或 S3 上的 Parquet 做优化

来源标题:Zpq 0.5.2 – optimized Parquet locally or in S3 with Zig

Zpq 0.5.2 是开源查询引擎 Zpq 发布的新版本。在 ClickBench、PDS-H 和 390 个合成聚合用例共 464 条查询的基准测试中,热运行时间几何平均为 0.5.1 的 0.980 倍,冷运行 0.964 倍。热状态下,464 条查询中有 461 条快于 DuckDB 2.0.0,Pol与验证的 455 条中有 450 条快于 Polars 2.0.0。

Hacker News 最新chicagobuss2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

代码 议题 拉取请求 操作 项目 安全与质量 洞察 更多项目 发布版本 v0.5.2 v0.5.2 最新 最新 比较 选择一个标签进行比较 抱歉,出了点问题。 筛选 加载中 抱歉,出了点问题。 哎呀! 加载时出错。请重新加载此页面。 v0.5.2 f56b7b1 与 0.5.1 及其他引擎的性能对比。在发布基准测试中(464 条查询:ClickBench、PDS-H 以及 390 个合成聚合用例,每条查询使用全新进程,重复三次,Ryzen 9 9950X),0.5.1、DuckDB 2.0.0 和 Polars 2.0.0 在同一批次中计时,0.5.2 的几何平均值为 0.5.1 热态耗时的 0.980×,冷态耗时的 0.964×。热态下,zpq 0.5.2 在 464 条查询中的 461 条上快于 DuckDB 2.0.0,在 Polars 结果通过验证的 455 条中的 450 条上快于 Polars 2.0.0,且从未落后任一引擎超过 1.5×。有两条查询比 0.5.1 慢,均被本版本接受:研究中的 card10/q08_cd_k 冷态,从 9.7 毫秒增至 10.3 毫秒(+6.3%),以及 bench100/W4_filter_all_zstd 写入热态,从 170.6 毫秒增至 192.9 毫秒(+13.1%)。 在默认线程数下,双键 GROUP BY 计数和求和更快。对 a、b 进行带 count(*) 或整数求和的精确 GROUP BY,现在会在更多工作线程会将其推离稠密计划时,按每个 L2 缓存一个工作线程运行,并且各工作线程表的合并并行执行。--threads N 保持原有计划。 带同一字符串列的 MIN、MAX 或 COUNT(DISTINCT) 的 LIKE 过滤器只读取该列一次。当更廉价的条件先执行时,zpq 现在会为通过的行保留已解码的字符串,并在聚合时重放它们,而不是再次读取那些页。在发布基准测试中(热态,每条查询使用全新进程),对比 0.5.1,ClickBench Q21 从 574 毫秒降至 320 毫秒,Q22 从 784 毫秒降至 441 毫秒。 重新编码的文件读取速度比原始文件更快。字典数据页按其打包索引字节数确定大小,而非固定行数;整数页通过对首页样本分别用两种方式压缩,来选择 PLAIN 或 DELTA_BINARY_PACKED。对于字符串,v2 写入器过去仅在字典保持在 1 MiB 以内时才将列送入字典,因此像 ClickBench 的 URL 和 Title 这样值重复频率同样高的宽列,会落入 DELTA_BYTE_ARRAY,而我们测量的读取器解码该格式比 PLAIN 慢。现在字典最多可容纳值字节数的四分之一(仍至少 1 MiB,绝不超过单个字典页的容量,且不同值仍为四分之一或更少),其他字符串使用 PLAIN,除非经过编解码器后 DELTA_BYTE_ARRAY 或 DELTA_LENGTH_BYTE_ARRAY 能节省字节(DELTA_BYTE_ARRAY 需节省一半,DELTA_LENGTH_BYTE_ARRAY 任意节省即可),以块的首頁为判断依据。在发布回读基准测试中(全列读取,热态,16 线程),DuckDB 2.0.0 读取 ClickBench hits_0 分片默认 v2 Snappy 重新编码的速度比原始文件快 2.78×,比 0.5.1 的重新编码快 1.28×,Polars 2.1.0 分别为 1.82× 和 1.18×。在 TPC-H SF1 lineitem 上,DuckDB 读取速度比原始文件快 1.39×;Polars 的读取速度与原始文件大致相当(16 线程下 1.09×,单线程下 0.99×)。值不变,文件字节改变。 写入时一趟完成列统计。列块的统计信息从其各页的统计信息合并而来,而不是通过第二次扫描值来读取:统计信息相同,每次写入的 CPU 开销更少。 字符串过滤器读取字典,而非行。对字典编码字符串列的过滤器(=、<>、IN)现在对每个字典条目比较一次,并按代码选择行,无论文件是否有页索引。 LIKE '%text%' 更快。子串搜索的尾部现在也以向量方式运行。结合上述重放,在发布基准测试中(热态),ClickBench Q20 从 343 毫秒降至 252 毫秒。 zpq 可使用任意 Zig 0.17.x 补丁版本构建,而不仅限于 0.17.0,因此 0.17.1 发布后即可采用。 Lambda fan-out 协调器在其工作线程启动前不进行任何调用,并在保持的连接上调用。每个工作线程现在自行准备聚合,并通过新的工作线程操作 partial_aggregate(docs/lambda_requests.md),以其输入 schema 的指纹和其计划的摘要来应答其份额。协调器(tools/serverless/fanout.py)仅在每个工作线程对两者都一致时才合并,否则拒绝查询并指明存在差异的输入;它不再先请求能力或读取任何 footer。行组范围可以是每个工作线程针对其自身 footer 解析的输入分数([start, end, of]),因此调用方提供的行组计数仅用于平衡工作:错误的计数不再导致查询失败或丢失行。协调器自行签署每次调用并复用连接,且在工作线程返回后不再向 Lambda 请求日志尾部;在 128 个工作线程时,该日志尾部以及 boto3 在 GIL 下的时间,正是超出最慢工作线程的全部差距。热态协调器 Lambda 还会在查询之间保留其 Lambda 客户端及其连接,而过去每次查询都会新建一个,并复用其线程池。以 * 模式给出的输入保持之前的协议,该协议为已发布的工作线程版本缓存能力应答。这改变了工作线程二进制文件:0.5.1 或更旧的工作线程会拒绝新请求,协调器会说明这一点。 可空列解码更快。对于非嵌套的可空列,zpq 现在将定义层级直接解码为有效性位图,并据此放置值(默认 x86_64 构建中为 AVX2 查找表,aarch64 上为 NEON 表查找,-compat 和 x86_64 Lambda 中为可移植的逐字内核),而过去每个值要展开一个 32 位层级。无空值的页采用与之前相同的路径,可空列的 Arrow C stream 导出使用相同的位图。 写入文件中的定义层级更小。zpq 过去将一段连续值之前剩余的少量值写为单值段;现在会打包它们,因此重新编码的可空文件的定义层级更小。写入字节改变;值不变。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →