研究称北欧语言在主流AI模型上消耗的token显著高于英语

大语言模型（LLM）以 token 为单位读写文本，而 token 正是你付费的对象。我们测量了同一句话在英语、瑞典语、挪威语、丹麦语和芬兰语中分别会变成多少个 token。 我们把同样的 3,000 句话，分别以英语、瑞典语、挪威语、丹麦语和芬兰语，输入来自九个实验室的十二个最新 AI 模型，并统计了每个模型向我们计费的数量。 每一个模型对四种语言的收费都高于英语。瑞典语高出 32% 到 68%。芬兰语最高达到两倍。 本文中，我们解释多出来的 token 从何而来。 语言模型不读字母，也不读单词。它读的是 token：来自一个固定列表——即词表——的文本片段。GPT-6.1 的词表大约有 200,000 个条目。你发送的每一段文本都会先被切分成列表中的片段，然后你按片段数量付费。 这个列表是在模型本身训练之前，从海量训练文本中一次性构建出来的。方法很简单。从单个字母开始。找出最常相邻出现的两个片段，把它们粘在一起作为新条目加入。然后重复，再重复，直到列表填满。 常见词会被一路粘合成一个条目。生僻词则只粘到一半，不得不拆成多个片段来拼写。以单词 meeting 为例。在 GPT-6.1 的词表中，它是一个 token。瑞典语翻译 mötet 不在列表中，因此变成两个 token：mö 和 tet。 结果就是，你使用了更多 token，因而同一个查询被收取更多费用。模型一次写一个 token，所以更多 token 也意味着响应更慢。 要公平比较不同语言，你需要在每种语言中使用相同的内容。我们使用了两个公开研究数据集：FLORES-200，约一千句来自 Wikinews、Wikivoyage 和 Wikibooks 的句子；以及 NTREX-128，约两千句新闻。 我们把每段文本都输入各主要实验室截至 2026 年 11 月 1 日的最新旗舰模型：GPT-6.1、Claude Opus 5.5、Gemini 4、Grok 4.7、Mistral Large 4、DeepSeek V4、Kimi K3.1、GLM-5.3 和 Qwen 3.8。 在模型的分词器公开的情况下，我们也自行统计了文本的 token 数。 我们以溢价的形式报告结果：某语言文本的 token 数，除以同一文本在英语中的 token 数。1.35 的溢价意味着相同内容多出 35% 的 token，成本高出 35%。 所有模型对全部四种语言的溢价相比英语都在 30% 或以上。在前沿模型中，相同内容的成本为： 新闻文本的数字略低，但情况相同。 Mistral，欧洲自己的前沿实验室，对斯堪的纳维亚语言也并不更便宜。Mistral Large 4 使用自己的分词器 Tekken，对瑞典语多收 41%，略高于美国模型。查看其词表内部可以看出原因。它包含带 é 和 ç 等法语字母的条目比 OpenAI 多约 50%，但带 å、ä 或 ö 的条目数量大致相当。为北欧文本构建的 Viking 则拥有近十倍的此类条目。 简单的解释会是瑞典语本身就是一种更啰嗦的语言。事实并非如此。瑞典语和挪威语译文在字符数上与英语原文完全一样，误差在 0.2% 以内。丹麦语长 3%，芬兰语长 6%。对于斯堪的纳维亚语言，全部溢价都来自分词器。 我们通过用几个为特定语言构建的公开分词器统计相同文本来验证这一点。Viking 是 2024 年的一个开放北欧模型，它对瑞典语所需的 token 仅比英语多约 5%。 更大的词表有所帮助。2020 年 GPT-3 的分词器对瑞典语多收 91%，2023 年 GPT-4 的分词器多收 58%，2024 年 GPT-4o 的多收 35%。但 OpenAI 最新的模型仍在使用 2024 年的分词器。 这并非北欧语言独有。任何在词表创建时未被优先考虑的语言往往都要支付溢价。我们还测量了日语，溢价范围从 13% 到 66%，而早先的研究发现有些语言需要的 token 数量高达英语的 15 倍。 在 Klang，我们对此有切身体会，因为我们的很大一部分用户位于北欧。 解决办法并不是秘密。给模型一个用北欧文本构建的词表，大部分溢价就会消失。而且考虑到过去一年开放权重模型已经变得多么强大，本地模型在质量和成本上都追平前沿模型是有真实潜力的。我们认为这凸显了本地 AI 实验室的价值，对北欧来说也是一个潜在的重要机遇。