研究复现NeurIPS 2023发现:2026年各语言分词成本差距仍未缩小
来源标题:Tokenizer Fairness in 2026
一项复现NeurIPS 2023研究的最新分析显示,2026年各实验室最新tokenizer对非英语语言的分词成本仍显著高于英语,差距三年未明显收窄。研究沿用Petrov等人的方法,以FLORES-200平行句测算各语言相对英语的token溢价,并对比GPT-4 2023年tokenizer基准。所有数字均可复现,中位数、均值及p90尾部指标用于衡量低资源语言的处境。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
同一句话在某些语言里消耗的 token 更多——你付得更多、等得更久、可用的上下文更少。这复现了 NeurIPS 2023 的发现,并提出一个问题:三年过去了,差距缩小了吗?
沿用 Petrov 等人(2023)的方法,一种语言的溢价是指同样的内容下,该语言文本所需的 token 数量相对于英语的倍数(FLORES-200,平行句子)。溢价 1.0 = 和英语一样便宜;15 = 贵十五倍。越低越公平。
各实验室最新的 tokenizer,按各语言溢价的中位数(典型语言的成本)排名。均值和尾部(p90,最差的 10%)展示了低资源语言的情况。GPT-4 在 2023 年的 tokenizer 作为基线展示。
所有 FLORES-200 语言的溢价。点击列标题排序;输入以筛选。单元格颜色 = 溢价。
这里的每个数字都可复现。premium(L) = Σ tokens(L devtest) / Σ tokens(English devtest),不含特殊 token,基于 FLORES-200 devtest 划分。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。