返回资讯中心
外部精选
软件工程
#开发者实时流

tufazip在大型文本压缩基准测试中排名第二,将10亿字节维基百科压缩至105.39MB

来源标题:Learning to Compress a Billion Bytes of Wikipedia

作者用tufazip在运行20多年的Large Text Compression Benchmark上取得第二名,成为该榜单上唯一仅用神经网络作为预测模型的参赛作品。最终系统将10亿字节的维基百科压缩为105,388,353字节(105.39MB),且该体积已包含离线训练的权重和解码器。系统采用12层、1.63亿参数的Transformer,由量化后仅4.33MB的3400万参数离线模型初始化。

Hacker News 最新7777777phil2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我在Large Text Compression Benchmark,Large Text Compression Benchmark (Matt Mahoney)。(提交时:2026年9月7日)上拿下了第2名。这个benchmark已经运行了20多年,而我的提交tufazip是其中表现最好的、以神经网络作为唯一预测模型的参赛作品。最终结果把十亿字节的Wikipedia压缩到了105,388,353字节(105.39 MB),其中包含离线训练好的权重和解码器。 最终系统使用了一个12层、163M参数的Transformer,其初始化来自一个34M参数的离线模型,该模型被量化到4.33 MB。两个离线训练好的层被复制成十二个独立的层,这些层在文件被压缩的过程中继续学习。解码器重复同样的学习过程,因此完整模型学习到的权重永远不需要被传输。 什么是智能?广义上说,智能通常与抽象、逻辑、推理、问题解决和适应能力联系在一起;在日常使用中,我们往往只是用它来指代晶体智力。但事情并没有那么清楚……这是一个古老的问题,至今仍然很难回答。让我们看几个聚焦于机器智能的具体视角: 达成目标:Shane Legg和Marcus Hutter将智能定义为“一个agent在广泛环境中达成目标的能力”。Universal Intelligence: A Definition of Machine Intelligence (Legg and Hutter, 2007)。在这里,Legg和Hutter强调的是agent所能处理的环境的广度,以及它在这些环境中完成任务的能力。 高效学习新技能:François Chollet将智能定义为技能获取效率:一个系统把先验知识和经验转化为新能力的效率有多高。On the Measure of Intelligence (Chollet, 2019)。想想看,如何从几个例子中学会一个陌生的游戏。可学习性仍然重要,但额外强调效率。 找到有用的表示:受Kenneth Stanley工作启发的一种观点认为,智能取决于找到能让学习和问题解决变得更简单的抽象。想想看,发现一条可复用的规则,把几个看似无关的问题联系起来。有趣的是,Stanley及其同事在这里提出,知识在系统内部如何组织,尽管测量起来要模糊得多,却可能影响系统的泛化能力和持续学习能力。Questioning Representational Optimism in Deep Learning: The Fractured Entangled Representation Hypothesis (Kumar, Clune, Lehman, and Stanley, 2025)。 压缩信息:Matt Mahoney主张通过压缩来理解智能:捕捉观察中的结构、从而能更紧凑地描述它们的能力。对于文本而言,学习拼写、语法和关系会让下一个词更可预测——而可预测的信息编码起来需要的比特更少。从这个视角看,压缩为我们提供了一种具体的方式来衡量一个系统捕捉到了多少结构。Rationale for a Large Text Compression Benchmark (Mahoney, 2009),"Compression is Equivalent to General Intelligence"一节。 受压缩视角的启发,我们把无损压缩作为任务。对于文本,预测与压缩之间的联系尤其直接。如果一个模型给下一个token分配概率$p$,其理想编码成本就是$-\log_2 p$比特。把实际出现的token的概率翻倍,就能节省一个比特。对于固定的tokenization,下一token预测和压缩有着相同的目标:以比特求和的总交叉熵损失恰好就是理想的压缩长度。 这里,$x_t$是位置$t$处的token,$x_{<t}$是前面的文本。算术编码把这种对应关系变成实用的压缩器,利用模型的概率以更少的比特编码可能的token,以更多的比特编码出人意料的token。Delétang及其同事在Language Modeling Is Compression中更深入地探讨了这种等价关系。Language Modeling Is Compression (Delétang et al., 2023)。学习语言的关键部分,如拼写、语法、事实和关系,都有助于模型预判文本并节省比特。在现代语言模型上,Huang及其同事在Compression Represents Intelligence Linearly中发现,Compression Represents Intelligence Linearly (Huang et al., 2024)。在他们研究的语言模型中,外部文本的压缩程度与平均下游benchmark表现密切相关。对单个文件的压缩只是对智能的一种有限度量,但它为我们提供了一种具体的方式来研究模型捕捉结构的效果如何。 这一动机正是Hutter Prize,Prize for Compressing Human Knowledge (Marcus Hutter)。的基础,该奖项奖励对Wikipedia的无损压缩。在这个项目中,我使用了Matt Mahoney的Large Text Compression Benchmark1及其十亿字节的Wikipedia文件enwik9。我还使用了enwik8,即enwik9的前一亿字节,用来比较各种配置并为完整的enwik9运行挑选候选方案。这个benchmark的任务是尽可能紧凑地无损表示整个十亿字节的文件。按照benchmark的评分规则,Rules for the Large Text Compression Benchmark (Matt Mahoney)。得分包括压缩后的文本,加上包含解码所需任何信息的zip压缩解码器。这使得离线训练模型的成本成为问题的一部分:更好的预测所节省的空间必须超过离线模型所增加的开销。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →