
TParquet 为时间序列数据推出 Pcodec 压缩,体积约为 ZSTD 一半
来源标题:TParquet – Parquet for time-series, 50% compression with Pcodec
TParquet 在标准 Parquet 文件中加入 PCODEC 压缩编码,专门处理数值列,使交易和逐笔数据体积约为 ZSTD 的一半(四家行情数据商 139M 条交易上为 0.49 倍),且保持无损。文件结构、schema、行组和统计信息均不变,可用 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark 等读写。该格式由行情数据商 Aperiodic 长期支持。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为时间序列打造的 Parquet。交易和逐笔数据文件约为其 ZSTD 大小的二分之一(来自四家市场数据提供商的 139M 条交易上为 0.49×),无损,且仍然是 Parquet:相同的 schema、row group、统计信息和 page index。可从 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark、Trino、DataFusion、C 和 C++ 读写这些文件。
tparquet 只为 Parquet 增加了一样东西:一个压缩 codec,PCODEC,它对数值列运行 pcodec——一个成熟的、用于数字的开源 codec(pcodec 是什么)。以短小数形式表示的价格和数量会以精确整数存储。文件中的其他一切保持标准 Parquet。该格式由 Aperiodic 支持,它是一家市场数据提供商,承诺长期支持该格式、其规范以及这些软件包。
在四家市场数据提供商的样本和预览数据上测量:Aperiodic、Tardis.dev、Crypto Lake 和 NYSE,31 个数据集共 151M 行。基线是使用 ZSTD level 9 的 Parquet,以两种方式写入:使用写入器的默认值,以及经过调优、为每列选择最佳编码(DELTA_BINARY_PACKED、BYTE_STREAM_SPLIT、DELTA_BYTE_ARRAY 等),就像提供商自己的文件那样。第三个基线是 ALP,即调优后的文件,并在每个浮点列上使用 Parquet 新的 ALP 编码。
每个值都逐位原样返回,并且 tparquet 在全部 31 个数据集上都更小。它根据第一个批次为每列选择 PCODEC 或 ZSTD:这里 480 个数值列中有 478 个选择了 PCODEC。字符串和标志保留 ZSTD。
如果你的文件压缩效果与这些交易类似,1 TB 的 ZSTD(9) Parquet 会变成约 490 GB(如果你的写入器已经调优其编码,则约 700 GB),并且全扫描读取的字节数减半。在单线程上,tparquet 以 102 MB/s 的 Arrow 数据写入(ZSTD(9):97,调优:141,ALP:169),以 924 MB/s 读取(ZSTD(9):916,调优:1,129,ALP:1,231)。在宽订单簿上,每一列都是 PCODEC,它的写入速度约为 ALP 的 1/3,读取速度为 ZSTD(9) 的 0.81×。
每个数据集及其写入和读取速度都在 bench/RESULTS.md 中。
make bench 可复现它(会下载约 1.2 GB)。了解 tparquet 能为你的数据做什么,最快的方法仍然是在你自己的某个文件上运行它。
cargo install tparquet # the tparquet CLI
tparquet encode trades.parquet trades.pcodec.parquet # standard -> PCODEC, codec chosen per column
tparquet inspect trades.pcodec.parquet # codec and size of every column
tparquet verify trades.parquet trades.pcodec.parquet # same data, floats bit for bit
tparquet decode trades.pcodec.parquet trades.standard.parquet # and back to standard Parquet
你的原始文件不会有任何改变,随时可以 decode 回去。
pcodec 是一个专为数字构建的无损压缩 codec。像 ZSTD 这样的通用压缩器看到的是字节。pcodec 看到的是整数和浮点数。它学习值的分布方式,通过 delta 编码去除趋势,并识别诸如所有价格都是某个 tick size 的倍数之类的结构。然后它尽可能为每个值分配最少的比特。
tparquet 原样使用已发布的 pco crate。每个压缩后的 page 都是一个 pcodec 独立文件,前面有一个两字节的 header(spec/FORMAT.md)。
PCODEC 像 ZSTD 或 SNAPPY 一样,在 ColumnMetaData.codec 中按 column chunk 设置。Schema、row group、编码、统计信息、page index、bloom filter 和键值元数据都不变,因此你的文件保持其布局、分区和统计信息。字符串、布尔值以及 pcodec 帮不上忙的任何列都保留 ZSTD。
代价是:没有该 codec 的读取器无法读取该文件。它会报错失败,绝不会返回错误的数据:验收测试对 pyarrow、pandas、Polars、DuckDB 的 read_parquet、上游 arrow-rs parquet crate、parquet-java 和 Trino 检查了这一点。当文件必须交给这样的读取器时,tparquet decode(或 transcode(..., target="standard"))会写出一个标准副本,tparquet verify 会确认其持有相同的值。
该 codec 在 spec/FORMAT.md 中规范,因此任何人都可以实现它。
在 PCODEC 成为标准 Parquet codec 之前,在你控制所有读取器的地方使用 tparquet,并在数据离开的地方写入标准 Parquet:将历史数据、归档或你自己的供应商数据副本保存在 tparquet 中,在边缘为客户、其他团队、托管仓库和 BI 工具执行 tparquet decode(或 transcode)。docs/STORAGE-TIER.md 有具体做法,以及不划算的情况。
使 PCODEC 成为标准 Parquet codec、从而任何 Parquet 读取器都能打开这些文件的工作正在进行中(spec/UPSTREAM.md)。
每个 release 都会将 Rust crate 发布到 crates.io,将 Python 包发布到 PyPI(RELEASING.md);其他包从本仓库的 checkout 构建(每个都需要 Rust 工具链)。INSTALL.md 包含前置条件、在 Linux、macOS 和 Windows 上针对每个使用场景的步骤、在你自己的项目中使用这些包(Cargo、pip 和 uv、Go modules、Maven 和 Gradle、CMake),以及故障排除。
cargo install tparquet # CLI (from a checkout: cargo install --path rust/tparquet)
pip install tparquet polars-tparquet # Python, pandas, Polars, DuckDB (Python 3.10+)
make -C duckdb build # DuckDB extension: duckdb/build/v{1.5.6,2.0.0}/tparquet.duckdb_extension
cargo build --release -p tparquet-capi # static library for Go; see go/README.md
make -C java install # Java, Spark: the parquet-java fork; see java/README.md
make -C java spark-jars # the jars a Spark 4.3 distribution needs
make -C trino install TRINO_HOME=... # Trino 484: the forked jars into its connectors
make -C cpp build # C++: the Arrow C++ fork and tparquet::*; see cpp/README.md
使用它 Python,使用 pyarrow、pandas、Polars 或 DuckDB:
import tparquet as tpq
tpq.write_table(table, "trades.parquet") # {"price": "PCODEC"
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。