
TParquet:为时间序列设计的Parquet扩展,压缩率较ZSTD减半
来源标题:Show HN: TParquet – Parquet for time-series, 50% compression with Pcodec
TParquet 为 Parquet 增加 PCODEC 压缩编解码器,在四家行情数据商的 139M 笔交易数据上实现无损压缩,体积约为 ZSTD 的一半(0.49 倍)。文件其余部分保持标准 Parquet 格式,支持 Python、DuckDB、Spark 等多种工具读写。该格式由行情数据商 Aperiodic 长期支持。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
面向时间序列的 Parquet。交易和逐笔数据(tick 文件)经压缩后大小约为其 ZSTD 压缩后的一半(来自四家市场数据提供商的 139M 条交易记录上为 0.49 倍),无损,而且仍然是 Parquet:相同的 schema、行组、统计信息和页索引。可从 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark、Trino、DataFusion、C 和 C++ 读写。
tparquet 为 Parquet 增加了一样东西:一种压缩编解码器 PCODEC,它对数值列运行 pcodec——一个成熟的、用于数字的开源编解码器(pcodec 是什么)——来处理数值列。以短小数表示的价格和数量会存为精确整数。文件中的其他一切保持标准 Parquet。
该格式由市场数据提供商 Aperiodic 支持,它承诺长期支持该格式、其规范以及这些软件包。
在四家市场数据提供商 Aperiodic、Tardis.dev、Crypto Lake 和 NYSE 的样本与预览数据上测量,共 31 个数据集、151M 行。基线是采用 ZSTD 级别 9 的 Parquet,以两种方式写出:使用写入器的默认设置;以及调优后,为每一列选择最佳编码(DELTA_BINARY_PACKED、BYTE_STREAM_SPLIT、DELTA_BYTE_ARRAY 等),与提供商自己的文件一致。第三个基线 ALP,是在调优文件的基础上,对每个浮点列使用 Parquet 新增的 ALP 编码。
每个值都逐位还原,且 tparquet 在全部 31 个数据集上都更小。它在第一批数据上按列选择 PCODEC 或 ZSTD:此处 480 个数值列中有 478 个选择了 PCODEC。字符串和标志位保留 ZSTD。
如果你的文件压缩表现与这些交易数据类似,1 TB 的 ZSTD(9) Parquet 会变成约 490 GB(如果你的写入器已经调优了编码,则约为 700 GB),而全扫描读取的字节数减半。在单线程上,tparquet 写入 Arrow 数据的速度为 102 MB/s(ZSTD(9):97,调优:141,ALP:169),读取速度为 924 MB/s(ZSTD(9):916,调优:1,129,ALP:1,231)。在宽订单簿上,每一列都是 PCODEC,写入速度约为 ALP 的 1/3,读取速度为 ZSTD(9) 的 0.81 倍。每个数据集及其写入和读取速度都在 bench/RESULTS.md 中。make bench 可复现该结果(会下载约 1.2 GB 数据)。想知道 tparquet 对你的数据效果如何,最快的方法仍然是在你自己的某个文件上运行它。
cargo install tparquet # tparquet CLI tparquet encode trades.parquet trades.pcodec.parquet # 标准 -> PCODEC,按列选择编解码器 tparquet inspect trades.pcodec.parquet # 每一列的编解码器和大小 tparquet verify trades.parquet trades.pcodec.parquet # 数据相同,浮点数逐位一致 tparquet decode trades.pcodec.parquet trades.standard.parquet # 再转回标准 Parquet
你的原始文件不会有任何改变,随时可以 decode 回去。
pcodec 是专为数字构建的无损压缩编解码器。像 ZSTD 这样的通用压缩器看到的是字节,pcodec 看到的是整数和浮点数。它学习数值的分布方式,通过增量编码去除趋势,并识别诸如价格都是某个最小变动价位整数倍之类的结构。然后它尽可能用最少的位来表示每个值。
tparquet 原样使用已发布的 pco crate。每个压缩页都是一个 pcodec 独立文件,前面加两字节头部(spec/FORMAT.md)。
PCODEC 在 ColumnMetaData.codec 中按列块设置,与 ZSTD 或 SNAPPY 完全一样。Schema、行组、编码、统计信息、页索引、布隆过滤器和键值元数据均不受影响,因此你的文件保留其布局、分区和统计信息。字符串、布尔值以及 pcodec 帮不上忙的列保留 ZSTD。
代价是,没有该编解码器的读取器无法读取该文件。它会报错失败,绝不会返回错误数据:验收测试对 pyarrow、pandas、Polars、DuckDB 的 read_parquet、上游 arrow-rs parquet crate、parquet-java 和 Trino 检查了这一点。当文件必须交给这类读取器时,tparquet decode(或 transcode(..., target="standard"))会写出一份标准副本,tparquet verify 确认它持有相同的值。该编解码器在 spec/FORMAT.md 中有规范说明,因此任何人都可以实现它。
在 PCODEC 成为标准 Parquet 编解码器之前,在你控制所有读取器的地方使用 tparquet,而在数据离开的地方写出标准 Parquet:将历史数据、归档数据或供应商数据的自有副本保留为 tparquet,并在边缘位置为客户端、其他团队、托管数仓和 BI 工具执行 tparquet decode(或 transcode)。docs/STORAGE-TIER.md 中有具体做法,以及它不划算的情形。
使 PCODEC 成为标准 Parquet 编解码器、让任何 Parquet 读取器都能打开这些文件的工作正在进行中(spec/UPSTREAM.md)。
每个版本都会将 Rust crates 发布到 crates.io,将 Python 包发布到 PyPI(RELEASING.md);其他包从本仓库的检出构建(每个都需要 Rust 工具链)。INSTALL.md 列出了先决条件、在 Linux、macOS 和 Windows 上针对各使用场景的步骤,以及在你自己项目中使用这些包的方法(Cargo、pip 和 uv、Go modules、Maven 和 Gradle、CMake),还有故障排除。
cargo install tparquet # CLI(从检出构建:cargo install --path rust/tparquet) pip install tparquet polars-tparquet # Python、pandas、Polars、DuckDB(Python 3.10+) make -C duckdb build # DuckDB 扩展:duckdb/build/v{1.5.6,2.0.0}/tparquet.duckdb_extension cargo build --release -p tparquet-capi # 供 Go 使用的静态库;参见 go/README.md make -C java install # Java、Spark:parquet-java 分支;参见 java/README.md make -C java spark-jars # Spark 4.3 发行版所需的 jars make -C trino install TRINO_HOME=... # Trino 484:将分支后的 jars 放入其连接器 make -C cpp build # C++:Arrow C++ 分支和 tparquet::*;参见 cpp/README.md
使用它 Python,配合 pyarrow、pandas、Polars 或 DuckDB: import tparquet as tpq tpq.write_table(table, "trades.parquet") # {"price": "PCODEC
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。