返回资讯中心
外部精选
软件工程
#开发者实时流

TParquet 为时间序列数据推出 Pcodec 压缩,体积约为 ZSTD 一半

来源标题:TParquet – Parquet for time-series, 50% compression with Pcodec

TParquet 在标准 Parquet 文件中加入 PCODEC 压缩编码,专门处理数值列,使交易和逐笔数据体积约为 ZSTD 的一半(四家行情数据商 139M 条交易上为 0.49 倍),且保持无损。文件结构、schema、行组和统计信息均不变,可用 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark 等读写。该格式由行情数据商 Aperiodic 长期支持。

Hacker News 最新legothief2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为时间序列打造的 Parquet。交易和逐笔数据文件约为其 ZSTD 大小的二分之一(来自四家市场数据提供商的 139M 条交易上为 0.49×),无损,且仍然是 Parquet:相同的 schema、row group、统计信息和 page index。可从 Python、pandas、Polars、DuckDB、Go、Rust、Java、Spark、Trino、DataFusion、C 和 C++ 读写这些文件。

tparquet 只为 Parquet 增加了一样东西:一个压缩 codec,PCODEC,它对数值列运行 pcodec——一个成熟的、用于数字的开源 codec(pcodec 是什么)。以短小数形式表示的价格和数量会以精确整数存储。文件中的其他一切保持标准 Parquet。该格式由 Aperiodic 支持,它是一家市场数据提供商,承诺长期支持该格式、其规范以及这些软件包。

在四家市场数据提供商的样本和预览数据上测量:Aperiodic、Tardis.dev、Crypto Lake 和 NYSE,31 个数据集共 151M 行。基线是使用 ZSTD level 9 的 Parquet,以两种方式写入:使用写入器的默认值,以及经过调优、为每列选择最佳编码(DELTA_BINARY_PACKED、BYTE_STREAM_SPLIT、DELTA_BYTE_ARRAY 等),就像提供商自己的文件那样。第三个基线是 ALP,即调优后的文件,并在每个浮点列上使用 Parquet 新的 ALP 编码。

每个值都逐位原样返回,并且 tparquet 在全部 31 个数据集上都更小。它根据第一个批次为每列选择 PCODEC 或 ZSTD:这里 480 个数值列中有 478 个选择了 PCODEC。字符串和标志保留 ZSTD。

如果你的文件压缩效果与这些交易类似,1 TB 的 ZSTD(9) Parquet 会变成约 490 GB(如果你的写入器已经调优其编码,则约 700 GB),并且全扫描读取的字节数减半。在单线程上,tparquet 以 102 MB/s 的 Arrow 数据写入(ZSTD(9):97,调优:141,ALP:169),以 924 MB/s 读取(ZSTD(9):916,调优:1,129,ALP:1,231)。在宽订单簿上,每一列都是 PCODEC,它的写入速度约为 ALP 的 1/3,读取速度为 ZSTD(9) 的 0.81×。

每个数据集及其写入和读取速度都在 bench/RESULTS.md 中。 make bench 可复现它(会下载约 1.2 GB)。了解 tparquet 能为你的数据做什么,最快的方法仍然是在你自己的某个文件上运行它。

cargo install tparquet # the tparquet CLI
tparquet encode trades.parquet trades.pcodec.parquet # standard -> PCODEC, codec chosen per column
tparquet inspect trades.pcodec.parquet # codec and size of every column
tparquet verify trades.parquet trades.pcodec.parquet # same data, floats bit for bit
tparquet decode trades.pcodec.parquet trades.standard.parquet # and back to standard Parquet

你的原始文件不会有任何改变,随时可以 decode 回去。

pcodec 是一个专为数字构建的无损压缩 codec。像 ZSTD 这样的通用压缩器看到的是字节。pcodec 看到的是整数和浮点数。它学习值的分布方式,通过 delta 编码去除趋势,并识别诸如所有价格都是某个 tick size 的倍数之类的结构。然后它尽可能为每个值分配最少的比特。

tparquet 原样使用已发布的 pco crate。每个压缩后的 page 都是一个 pcodec 独立文件,前面有一个两字节的 header(spec/FORMAT.md)。

PCODEC 像 ZSTD 或 SNAPPY 一样,在 ColumnMetaData.codec 中按 column chunk 设置。Schema、row group、编码、统计信息、page index、bloom filter 和键值元数据都不变,因此你的文件保持其布局、分区和统计信息。字符串、布尔值以及 pcodec 帮不上忙的任何列都保留 ZSTD。

代价是:没有该 codec 的读取器无法读取该文件。它会报错失败,绝不会返回错误的数据:验收测试对 pyarrow、pandas、Polars、DuckDB 的 read_parquet、上游 arrow-rs parquet crate、parquet-java 和 Trino 检查了这一点。当文件必须交给这样的读取器时,tparquet decode(或 transcode(..., target="standard"))会写出一个标准副本,tparquet verify 会确认其持有相同的值。

该 codec 在 spec/FORMAT.md 中规范,因此任何人都可以实现它。

在 PCODEC 成为标准 Parquet codec 之前,在你控制所有读取器的地方使用 tparquet,并在数据离开的地方写入标准 Parquet:将历史数据、归档或你自己的供应商数据副本保存在 tparquet 中,在边缘为客户、其他团队、托管仓库和 BI 工具执行 tparquet decode(或 transcode)。docs/STORAGE-TIER.md 有具体做法,以及不划算的情况。

使 PCODEC 成为标准 Parquet codec、从而任何 Parquet 读取器都能打开这些文件的工作正在进行中(spec/UPSTREAM.md)。

每个 release 都会将 Rust crate 发布到 crates.io,将 Python 包发布到 PyPI(RELEASING.md);其他包从本仓库的 checkout 构建(每个都需要 Rust 工具链)。INSTALL.md 包含前置条件、在 Linux、macOS 和 Windows 上针对每个使用场景的步骤、在你自己的项目中使用这些包(Cargo、pip 和 uv、Go modules、Maven 和 Gradle、CMake),以及故障排除。

cargo install tparquet # CLI (from a checkout: cargo install --path rust/tparquet)
pip install tparquet polars-tparquet # Python, pandas, Polars, DuckDB (Python 3.10+)
make -C duckdb build # DuckDB extension: duckdb/build/v{1.5.6,2.0.0}/tparquet.duckdb_extension
cargo build --release -p tparquet-capi # static library for Go; see go/README.md
make -C java install # Java, Spark: the parquet-java fork; see java/README.md
make -C java spark-jars # the jars a Spark 4.3 distribution needs
make -C trino install TRINO_HOME=... # Trino 484: the forked jars into its connectors
make -C cpp build # C++: the Arrow C++ fork and tparquet::*; see cpp/README.md

使用它 Python,使用 pyarrow、pandas、Polars 或 DuckDB:

import tparquet as tpq
tpq.write_table(table, "trades.parquet") # {"price": "PCODEC"

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →