
UCZ 发布零先验上下文混合压缩引擎
来源标题:UCZ – A "zero-prior" context-mixing compressor
实验性压缩引擎 UCZ 以 TypeScript 实现,采用「零先验」设计:不依赖外部词典、预训练权重、文件头魔数识别或格式专用预解压器。它仅通过一组通用结构变换和上下文混合预测器,从输入字节流中在线学习并选择模型。项目同时提供残差熵显微镜功能。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Universal Context-Mixing(Zero-Prior)——一个实验性的零先验压缩引擎与残差熵显微镜,使用 TypeScript 编写。
这里的“零先验”确切含义是:零外部词典、零预训练语料权重、零文件名或魔数字节嗅探、零格式专属的解压前处理器(没有内置的 zlib/PNG 解码器,没有 tar/zip 读取器)。UCZ 通过一组有限的、手工设计的通用结构变换和上下文混合预测器来运作,这些预测器从输入流本身在线选择。它唯一被告知的事情是:输入是一个字节序列。
English | 简体中文 | 完整基准测试 | 九点宪章
大多数强压缩器都是知识的集合体。xz 懂得 LZ77 和区间编码。paq8px 自带英语词典、JPEG 模型、x86 过滤器以及数十个手工构建的上下文。zstd 在见到你的文件之前就先在语料库上训练。所有这些都有效——这正是大家都在用它们的原因。
UCZ 提出了一个更窄、更学术的问题:
如果一个压缩器被严格禁止使用内置词典、预训练权重、文件头魔数字节或格式专属的解压前处理器——并且必须从面前的字节中,在线、从零开始学习每一种数据流形(表格文本、多通道遥测、二维周期栅格、机器码、基因组序列)——会发生什么?
重点不是击败那些工具。而是衡量它们的优势中有多少来自关于世界的先验知识,多少来自通用在线学习,并让这一差距可被检视而非被隐藏。使这个问题成立所需的规则被写成了九点宪章;测量结果在 BENCHMARKS.md 中。
无内置词典或训练语料。控制流不做文件类型嗅探——分析器只能查看它自己计算出的字节统计量。无格式专属解压前处理器(PNG 里没有 zlib,PDF 里没有 FlateDecode)。无针对特定语料的调参,无绑定到已知文件的魔法常量。每条候选规则都必须经过试编码,并按真实字节数进行比较。每个容器都必须能按位精确解码,否则该方案被拒绝。解码器永远不应需要编码器未写入容器的信息。成本估算必须来自实际编码。系统必须对不可压缩数据保持诚实:它最多只能因封装而使数据流膨胀几个字节。
一次 UCZ 编码是:分析 → 按区域提出规则 → 试编码 → 保留最小者 ↦ 合并 → 封装。下面的一切都是在运行时通过测量选出的,而不是靠文件扩展名。
主力模型是 text-vertcol,一个 22 上下文的模型,它对自己正在读取的表格结构保持一幅实时图像:当前行、当前字段索引与偏移、上一行同一字段/偏移处的字节、当前/上一个词、一个 6 格字符形状掩码、一个前缀词干和终端后缀,以及 5/6-gram。分隔符集合是学习得到的,而非假设的(\t、,、: 和 ;,一旦分号在流中占主导)。一个高熵冻结门(emaErr)阻止列表格被嵌入的噪声污染。
记录步长检测(s = 2…64,三个独立窗口,幂律归一化)拆分交织的通道;TRANSPOSE / TRANSPOSE_GROUP / SUB_TRANSPOSE 对它们重新排序,DELTA 去除通道自身的滞后,残差由一个 12–13 上下文的二值模型加一个两代匹配模型编码。
BITPLANE 将平稳周期信号分解为位平面(5.L:4.37%)。对于双电平栅格,模型在运行时因果地找到扫描线周期——在 pos = 1024 处以及 2 的幂处设检查点、一次非平凡匹配普查、一道平坦字节门,以及一个 bestP ≥ 32 的下限——然后用 JBIG 风格的上下文将每个像素与其五个因果邻居一起编码。这就是 ptt5(一幅行宽 216 字节、无可读文件头的传真栅格)达到 5.25% 的方式。
BCJ_V3 是一个带符号字节守卫的因果相对跳转变换,它馈入一个 25 上下文的模型,其额外槽位桥接 disp32 立即数和 ModRM 字段(9.H:在一个 1 MiB ELF 上达到 29.13%)。代码中没有任何东西知道 x86 是什么;变换和上下文之所以被选中,是因为它们编码得更小。
当运行中的预测误差表明“这个区域是噪声”时,上下文表停止训练,列模型冻结,规划器回退到 STORE。在 24 张 Kodak PNG 上,结果是 15,394,305 → 15,273,560 B(总体 99.22%;在 15 张完全不可压缩的图像上,STORE 只增加 8–18 字节 / 约 0.002% 的封装开销,且从不失控)。一个无法重新膨胀 DEFLATE 的零先验压缩器应该大声而廉价地说明这一点。
--max 级别,每一行的逐字节 SHA-256 往返验证均通过。完整表格、逐文件数字与机制:BENCHMARKS.md。
没有成本的上下文混合压缩比只是广告。因此下表的每一行都附带编码时间、解码时间和峰值内存,在同一台机器上用同一套协议测得:AMD Ryzen 9 9955HX(16 核 / 32 线程),14 GiB RAM,Linux,Node 26.13,UCZ_THREADS=6,文件逐一压缩(绝不作为固实归档),峰值 RSS 取自 VmHWM,gzip 1.15,bzip2 1.0.8,zstd 1.5.7,xz 5.8.4。
语料库 原始大小 (B) gzip -9 bzip2 -9 zstd -19 zstd --ultra -22 xz -9e UCZ --max Canterbury(11 个文件) 2,810,784 26.00% 19.31% 18.37% 18.37% 17.54% 13.14% UCI 表格(6 个文件) 6,545,162 11.76% 7.30% 9.18% 9.18% 8.80% 5.73% AITDCC(16 条轨道,跨流形) 38,289,319 66.43% 62.56% 63.45% 63.45% 61.74% 44.54% 氨基酸语料库(9 个物种) 22,918,902 57.14% 53.37% 45.46% 44.93% 44.98% 42.18% E. coli K-12 基因组 4,734,499 31.39% 29.54% 28.53% 28.53% 28.27% 24.39% 24 张 Kodak PNG(诚实性测试) 15,394,305 99.97% 100.19% 99.99% 99.99% 99.84% 99.22% enwik8,前 8 MiB 8,388,608 36.84% 29.18% 28.20% 28.20% 27.46% 22.45% enwik8,前 16 MiB 16,777,216 36.87% 29.27% 27.58% 27.37% 26.71% 22.04% 该压缩比的成本(同一机器,同一批文件) 语料库 UCZ 编码 UCZ 解码 UCZ 峰值 RSS xz -9e 编码 zstd -22 编码 zstd -22 峰值 RSS Canterbury 105.4 s 15.6 s 1,916 MiB 0.97 s 0.85 s 25 MiB UCI 表格 116.6 s 52.9 s
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。