TriusLD:支持19种文字系统的紧凑型LLM分词器
来源标题:Show HN: TriusLD – A Small Tokenizer for LLMs with Robust Multilingual Support
TriusLD分词器在65535个token槽位内原生支持19种文字系统,58种语言平均压缩为每字符0.52个token,优于GPT-4所用词表的0.84。其英文建模为每token 3.85个字符,比20万token的模型低约18%。该设计通过按文字系统配额与共享字节回退平衡词表,避免非英文文字退化为逐字节编码。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
摘要。本文介绍 Trius's Little Dictionary(TriusLD),这是一个在 65,535 个 token 槽位预算内原生支持 19 种书写系统的 tokenizer。通过在每种文字系统的配额与共享的字节回退之间平衡词表,我们实现了广泛的多语言压缩效果——在 58 种语言上平均每字符 0.52 个 token,而 GPT-4 所用词表为 0.84[2]——同时没有过多牺牲英语建模能力:每 token 3.85 个字符,比 200,000 token 的模型落后约 18%。
tokenizer 是模型最先读取、最后写出的东西,也是整个技术栈中唯一决定一个 token 值多少的部分。当词表按原始网络频率分配时——也就是直接对爬取语料跑 BPE 会发生的情况——英语和中文几乎占走一切,其他每种书写系统都只能回退到原始字节。
这种回退是无损的,但代价高昂。在 UTF-8 下,一个西里尔、希腊、希伯来或阿拉伯字符占两个字节;一个汉字或一个谚文音节占三个字节。如果没有合并来覆盖它们,每个字符就要花费那么多 token。一个印地语句子按每字符三个 token 计算,不只是低效,而是不可用:上下文窗口缩小到三分之一,模型把注意力预算花在重新拼合字母上。
显而易见的补救办法是把词表槽位花在这些书写系统上。问题在于词表是固定预算,每一个给 Unihan 的槽位都是从英语那里夺走的。仅汉字就能吸收两万个字符;这样做会把英语推回字节级回退,而这正是我们想避免的。不存在对所有人都好的分配,只有一个平衡点。
TriusLD 是我们对这个平衡问题的回答,硬约束是 65,535 个槽位——16 位索引可寻址的最大词表。它实际包含 64,972 个:256 个字节 token、14 个特殊 token、64,702 个合并。本文记录槽位是如何划分的、为什么对所有内容训练一个 BPE 的显然做法行不通,以及结果与几个知名模型的 tokenizer 相比如何。
如果要为非 ASCII 书写系统避免字节级回退,就必须为它们分配 token 槽位。在 UTF-8 下,西里尔、希腊、希伯来和阿拉伯字符各占两个字节,而大多数 Unihan 字符占三个;因此一个没有覆盖的书写系统每字符要花费两到三个 token。分配不能无限制。仅 CJK 字符集就可能包含多达 20,000 个不同字符,而花在它们上面的每个槽位都是从英语那里扣下的,英语一旦合并不足就会退回到字节级切分。因此设计问题是平衡点该落在哪里。
在任何书写系统获得槽位之前,有三件事不可妥协。第一是 256 token 的字节字母表:它使 tokenizer 成为完备的,意思是任何字节串——我们从未计划过的书写系统、损坏的文件、emoji 序列——都能无损编码和解码。第二是特殊 token 块:序列开始和结束、填充、聊天角色、fill-in-the-middle 标记,以及为工具预留的一小部分。第三是每种书写系统的字符清单,下面会讨论,事实证明它是继汉字之后最大的单项支出。
剩下的都花在合并上,而合并正是做交易的地方。一个把两个西里尔字符变成一个 token 的合并,在该字符对每次出现时都省一个 token;一个把 th 变成一个 token 的合并,在英语中每个 th 处都省一个 token。这些直接可比,而在频率驱动的训练器中,英语几乎总是赢。
许多语言使用带重音符号的拉丁字母——尤其是东欧语言和越南语,后者有大量重音符号。由于 Unicode 标准同时包含“预组合”字符和“组合”字符(例如 á 与 a + ´),我们决定强制使用 NFC。
NFC 比看起来更重要。没有它,同一个越南语单词会有两种编码,为一种学到的合并不适用于另一种,字符清单也会翻倍。在训练和推理时都归一化到 NFC,意味着词表只需容纳预组合形式——所有西欧和东欧语言加上越南语大约四百个字符。NFC 无法组合的少数序列(一个基字母同时带声调和变音符号)由归一化后保留的组合标记覆盖。
我们有意不应用 NFKC。它会把全角标点折叠为 ASCII,把 fi 变成 fi,并悄悄破坏模型以后可能需要重现的信息。一个无法往返其输入的 tokenizer,就是一个被放在损失函数前面的有损压缩器。
技术上大约有 60,000 个汉字字形,但其中大多数只罕见出现(例如在古代中国文学中)。大多数运行文本可以用大约 10,000 到 13,000 个字符的子集覆盖:前 3,000 个覆盖约 99% 的现代中文,而超过 13,000 的尾部不到百分之一。我们决定只包含更常见的字符,再加上几千个汉字二元组。
有两个复杂情况。第一,简体中文和繁体中文是不同的码点,不是归一化变体;它们不能折叠在一起,两套清单都必须携带。第二,日文汉字与繁体中文大量重叠但不完全重叠,所以三个集合的并集比其中任何一个都大。我们最终得到大约 13,000 个单字符,这是整个词表中相当可观的一部分,也是预算中最大的单项。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。