返回资讯中心
外部精选
软件工程
#开发者实时流

Sander Land复现Claude分词器,词表仅约1.6万条目

来源标题:Vocab Break

Tokenizer爱好者Sander Land复现了与Claude现行分词器高度相似的版本,其词表仅约1.6万条目,远低于Qwen 3.8的约25万。通常认为词表越大效果越好,这一发现显得反常。一种推测是Anthropic在规避最终softmax层的梯度瓶颈问题。

Hacker News 最新gmays2026/11/16 · 今天8 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Tokenizer 爱好者 Sander Land 最近复现了一个与 Claude 当前 tokenizer 非常相似的东西,而它似乎只有大约 16,000 个条目。这很令人惊讶!Qwen 3.8 是一个非常强的版本,其词表大约有 250k 个 token。总的来说,在这个领域,趋势似乎是越多越好。

一种理论认为,Anthropic 一直在绕开由最后的 softmax 层造成的瓶颈。最近(算是吧)有一篇关于这个问题的论文:“Lost in Backpropagation: The LM Head is a Gradient Bottleneck”,但如果这就是原因,那么 Throppy 的人早就知道这一点了。

基本思路是,在前向传播的末尾,你必须从模型的潜空间(维度为 D)投影到一个大得多的词表空间(维度为 V),以选出一个 token。仍以 Qwen 为例,其 2.4T 参数的旗舰模型隐藏层大小 D 为 8,192,而 V 就是那个 250k 的词表大小。

训练时,你要把模型得到的分布与实际的正确 token 进行比较。如果模型正确且自信,损失就小;如果模型自信却错了,损失就大。然后,这个损失会通过全部 250k 个条目反向传播,再从那里向下传到隐藏维度的 8k 个条目。这种压缩会限制能够反馈回网络的信息量。具体来说,作者表明 logits 的变化秩最多为 2D。所以,如果 V 远大于 D,我们就会丢失信息:

我们从经验和理论上都证明,softmax 瓶颈在反向传播过程中引入了有损压缩。

这件事的发生并不完全显而易见。正确的分布只有一个条目宽(实际的下一个 token),而隐藏维度可以表示它。不过,在一个大 batch 上,你会遇到各种不同的下一个 token。这些信号是稀疏的,但不是低秩的:如果你遍历足够多的样本,几乎每个 token 在某个时刻都会成为“下一个 token”。

这意味着传入的学习信号和词表一样宽,因此模型是在从中随机采样一个大小为 D 的子集。这本身不是问题:你可以学会在它们之间进行映射,但这个过程里并没有什么特别鼓励它学会这种映射。

不管这是不是小词表的原因,问题都在于他们怎么能做到这样!其他所有模型都在增大词表,但据 Land 估计,Anthropic 的人一直在削减:从 Claude 3 的约 50k 词表条目降到今天的约 16k。

所以,不管梯度瓶颈的代价是什么,Anthropic(基本上)并没有付出这个代价!

这还有许多其他好处。你不需要做那些花哨的分块 CE kernel,因为你不必投影到一个庞大、吃内存的空间;你也不会遇到任何 solidgoldmagikarp1 式的故障 token,因为每个 token 都会得到训练。

他们并没有忽视稀有 token 和其他语言,他们只是使用子词 token,并在最坏情况下回退到 UTF-8。这意味着每段输入文本会对应更多 token,注意力成本也更高。话虽如此,在 Land 的测试中,这似乎只多了 1.2-2 倍的 token。这并非没有代价:减小 tokenizer 确实会带来更多执行开销和更多花费,但权衡下来大概远远值得!

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →