返回资讯中心
外部精选
软件工程
#开发者实时流

科普文章:无需数学基础也能理解大语言模型如何理解句意

来源标题:LLMs Figure Out What You Mean – No Math Degree Required – Zarar's Blog

Zarar's Blog 发布一篇科普文章,用「Do lions roar?」这个例子演示大语言模型如何判断词与词之间的关系。文章介绍从原始文本到词向量、再通过向量距离计算词间关联的完整流程,全程不涉及复杂数学。作者称读完后能对 LLM 如何读句并理解词间关系形成清晰图景。

Hacker News 最新fagnerbrack2026/11/12 · 6 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

当你在AI里输入一句话时,它是怎么理解你的意思的?在“Do lions roar?”中,它怎么知道“roar”是和“lions”搭配,而不是和“Do”搭配?

这篇文章不涉及繁重的数学,带你走完整个过程。我们将跟随“Do lions roar?”这句话,从原始文本一路走到模型判定每个词与句中其他所有词的关系。在此过程中,我们会把词变成数字,把这些数字想象成箭头,衡量两个箭头有多“接近”,最后用这种接近程度来判断词与词之间的关系。读完之后,你会对LLM如何读一句话、如何理清词与词之间的关系有一个清晰的心理图景。

模型没法直接处理字母——底层全是数学——所以在它能对一句话进行推理之前,每个词都必须先变成一个数字,然后再变成比数字更丰富的东西。这分两步完成。

为什么要费劲用向量,而不是直接把词留作1、2、3?因为单个数字不携带任何含义。数字2(“lions”)没有任何信息表明它离3(“roar”)比离99更近。向量解决了这个问题:它给每个词一整列数字,而不是一个数字,列表中的每个位置日后可以承载一点含义。含义相近的词最终会得到相近的列表,而这正是我们最终能够比较它们的原因。

这列数字有多长?它可以有你想要的任意多个位置(维度)。位置越多,存储含义的空间就越大,模型也就越精确。这里我们用三个维度来保持可读性(例如[.056, .089, .034]),但真实模型使用数百甚至数千个维度。

数字本身说明不了什么。有意思的问题不是“‘lions’是哪个数字?”,而是“‘lions’和它周围的词是什么关系?”

要回答这个问题,我们借助线性代数中的一个概念:向量。而最直观地理解向量的方式,就是别再把它想成一列数字,而是开始把它想成箭头。

把向量想象成指向某个方向的箭头。想象一张地图,中间有一个点,从那个点画一个箭头指向某个位置。每个词都有自己的箭头。含义相近的词,箭头指向相近的方向;含义不同的词,箭头指向不同的方向。比较两个词就变得像比较它们箭头的指向一样简单。

“指向同一方向”给了我们很好的直觉,但LLM需要一个实际可用的数字。这个数字就是点积。

点积就是两个箭头有多接近的一个分数。分数越大,箭头越指向同一方向,词与词就越相似。

理解这一点的一个好方法是想象两个人推同一辆购物车。如果他们朝同一方向推,他们的力会叠加成一次强有力的推动,这就是高分。如果他们以一定角度推,只有一部分力真正起作用,所以分数较小。而如果他们互相反向推,力会相互抵消,得到负分。

这基本上就是你需要知道的全部:高分意味着相似,接近零意味着无关,负分意味着相反。

给对数学好奇的读者:这就是你在三角学中可能见过的“余弦定理”里的那个余弦,只是被重新用来比较词的箭头。

现在我们对每一对词都有了接近度分数(也就是点积)。问题是,原始分数本身说明不了什么。如果“roar”和“lions”得了8分,这算高吗?不看“roar”与其他所有词的得分,你就说不准。这个数字只有相对于其余词才有意义。

我们真正想要的是一个相对度量,也就是:“roar”能给出的全部注意力中,有多大比例分给了“lions”?原始点积回答不了这个问题,所以我们重新调整这些分数,来回答:对于句中的每个词,它与其他哪些词关系最密切,密切程度如何?

以“roar”为例。为了理解它,模型会问:谁在吼?答案是“lions”,不是“Do”。所以“roar”应该让“lions”很重要,而让“Do”几乎不重要。每个词都对其他所有词做这件事:“roar”权衡“lions”和“Do”,“lions”权衡“Do”和“roar”,以此类推,贯穿整句话。

为了让它可用,我们把每个词的原始分数(记住,是点积)转换成百分比。

另一种想象方式:假设每个词正好有1美元的注意力可以花。它把更多的钱给它接近的词,更少的钱给它不接近的词,但它总是把整美元花完,不多也不少。顺带一提,这种把份额(或注意力)分给其他词的做法叫做softmax,不过名字在这里不重要。

最后一个问题:最初的箭头从哪来(我写[.056, .089, .034]时编出来的那个)?这超出了本文的范围,但总的来说,我们先随机选取它们,然后模型通过阅读海量文本来改进它们,一遍又一遍地微调这些数字,直到相近的箭头真的与相似的含义对齐。这个过程叫做反向传播,本身值得单独写一篇文章。

如果你以为我忘了问号,我没有。问号也是一个token,与单词无异,处理方式完全相同。它也和单词一样有含义,LLM对待它与对待单词没有区别。我只是想在这篇文章里只处理三个词。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →