返回资讯中心
外部精选
软件工程
#开发者实时流

TParquet:为时间序列设计的Parquet扩展,压缩率较ZSTD减半

来源标题:Show HN: TParquet – Parquet for time-series, 50% compression with Pcodec

TParquet 为 Parquet 增加 PCODEC 压缩编解码器,在四家行情数据商的 139M 笔交易数据上实现无损压缩,体积约为 ZSTD 的一半(0.49 倍)。文件其余部分保持标准 Parquet 格式,支持 Python、DuckDB、Spark 等多种工具读写。该格式由行情数据商 Aperiodic 长期支持。

Hacker News 最新szemy22026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

面向时间序列的 Parquet。交易和逐笔数据(tick 文件)经压缩后大小约为其 ZSTD 压缩后的一半(来自四家市场数据提供商的 139M 条交易记录上为 0.49 倍),无损,而且仍然是 Parquet:相同的 schema、行组、统计信息和页索引。可从 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark、Trino、DataFusion、C 和 C++ 读写。

tparquet 为 Parquet 增加了一样东西:一种压缩编解码器 PCODEC,它对数值列运行 pcodec——一个成熟的、用于数字的开源编解码器(pcodec 是什么)——来处理数值列。以短小数表示的价格和数量会存为精确整数。文件中的其他一切保持标准 Parquet。

该格式由市场数据提供商 Aperiodic 支持,它承诺长期支持该格式、其规范以及这些软件包。

在四家市场数据提供商 Aperiodic、Tardis.dev、Crypto Lake 和 NYSE 的样本与预览数据上测量,共 31 个数据集、151M 行。基线是采用 ZSTD 级别 9 的 Parquet,以两种方式写出:使用写入器的默认设置;以及调优后,为每一列选择最佳编码(DELTA_BINARY_PACKED、BYTE_STREAM_SPLIT、DELTA_BYTE_ARRAY 等),与提供商自己的文件一致。第三个基线 ALP,是在调优文件的基础上,对每个浮点列使用 Parquet 新增的 ALP 编码。

每个值都逐位还原,且 tparquet 在全部 31 个数据集上都更小。它在第一批数据上按列选择 PCODEC 或 ZSTD:此处 480 个数值列中有 478 个选择了 PCODEC。字符串和标志位保留 ZSTD。

如果你的文件压缩表现与这些交易数据类似,1 TB 的 ZSTD(9) Parquet 会变成约 490 GB(如果你的写入器已经调优了编码,则约为 700 GB),而全扫描读取的字节数减半。在单线程上,tparquet 写入 Arrow 数据的速度为 102 MB/s(ZSTD(9):97,调优:141,ALP:169),读取速度为 924 MB/s(ZSTD(9):916,调优:1,129,ALP:1,231)。在宽订单簿上,每一列都是 PCODEC,写入速度约为 ALP 的 1/3,读取速度为 ZSTD(9) 的 0.81 倍。每个数据集及其写入和读取速度都在 bench/RESULTS.md 中。make bench 可复现该结果(会下载约 1.2 GB 数据)。想知道 tparquet 对你的数据效果如何,最快的方法仍然是在你自己的某个文件上运行它。

cargo install tparquet # tparquet CLI tparquet encode trades.parquet trades.pcodec.parquet # 标准 -> PCODEC,按列选择编解码器 tparquet inspect trades.pcodec.parquet # 每一列的编解码器和大小 tparquet verify trades.parquet trades.pcodec.parquet # 数据相同,浮点数逐位一致 tparquet decode trades.pcodec.parquet trades.standard.parquet # 再转回标准 Parquet

你的原始文件不会有任何改变,随时可以 decode 回去。

pcodec 是专为数字构建的无损压缩编解码器。像 ZSTD 这样的通用压缩器看到的是字节,pcodec 看到的是整数和浮点数。它学习数值的分布方式,通过增量编码去除趋势,并识别诸如价格都是某个最小变动价位整数倍之类的结构。然后它尽可能用最少的位来表示每个值。

tparquet 原样使用已发布的 pco crate。每个压缩页都是一个 pcodec 独立文件,前面加两字节头部(spec/FORMAT.md)。

PCODEC 在 ColumnMetaData.codec 中按列块设置,与 ZSTD 或 SNAPPY 完全一样。Schema、行组、编码、统计信息、页索引、布隆过滤器和键值元数据均不受影响,因此你的文件保留其布局、分区和统计信息。字符串、布尔值以及 pcodec 帮不上忙的列保留 ZSTD。

代价是,没有该编解码器的读取器无法读取该文件。它会报错失败,绝不会返回错误数据:验收测试对 pyarrow、pandas、Polars、DuckDB 的 read_parquet、上游 arrow-rs parquet crate、parquet-java 和 Trino 检查了这一点。当文件必须交给这类读取器时,tparquet decode(或 transcode(..., target="standard"))会写出一份标准副本,tparquet verify 确认它持有相同的值。该编解码器在 spec/FORMAT.md 中有规范说明,因此任何人都可以实现它。

在 PCODEC 成为标准 Parquet 编解码器之前,在你控制所有读取器的地方使用 tparquet,而在数据离开的地方写出标准 Parquet:将历史数据、归档数据或供应商数据的自有副本保留为 tparquet,并在边缘位置为客户端、其他团队、托管数仓和 BI 工具执行 tparquet decode(或 transcode)。docs/STORAGE-TIER.md 中有具体做法,以及它不划算的情形。

使 PCODEC 成为标准 Parquet 编解码器、让任何 Parquet 读取器都能打开这些文件的工作正在进行中(spec/UPSTREAM.md)。

每个版本都会将 Rust crates 发布到 crates.io,将 Python 包发布到 PyPI(RELEASING.md);其他包从本仓库的检出构建(每个都需要 Rust 工具链)。INSTALL.md 列出了先决条件、在 Linux、macOS 和 Windows 上针对各使用场景的步骤,以及在你自己项目中使用这些包的方法(Cargo、pip 和 uv、Go modules、Maven 和 Gradle、CMake),还有故障排除。

cargo install tparquet # CLI(从检出构建:cargo install --path rust/tparquet) pip install tparquet polars-tparquet # Python、pandas、Polars、DuckDB(Python 3.10+) make -C duckdb build # DuckDB 扩展:duckdb/build/v{1.5.6,2.0.0}/tparquet.duckdb_extension cargo build --release -p tparquet-capi # 供 Go 使用的静态库;参见 go/README.md make -C java install # Java、Spark:parquet-java 分支;参见 java/README.md make -C java spark-jars # Spark 4.3 发行版所需的 jars make -C trino install TRINO_HOME=... # Trino 484:将分支后的 jars 放入其连接器 make -C cpp build # C++:Arrow C++ 分支和 tparquet::*;参见 cpp/README.md

使用它 Python,配合 pyarrow、pandas、Polars 或 DuckDB: import tparquet as tpq tpq.write_table(table, "trades.parquet") # {"price": "PCODEC

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →