
博主以Qwen2为起点自学LLM原理并撰写研究笔记
来源标题:In which John becomes a Machine Learning researcher
一位开发者为了理解LLM的内部机制,以阿里云2024年发布的开源模型Qwen2-0.5B为对象展开研究,并写成博客。他试图回答的核心问题是:Qwen2究竟在计算什么。文章面向具备编程语言思维和矩阵运算基础、但对LLM仅停留在“大矩阵运算网络”认知的读者。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
既然 LLM 大概率会长期存在,我觉得应该花点功夫多了解它们一些。这篇博文就是这份努力的成果。
目标读者基本上就是「上周的我」——也就是说,一个熟悉「编程语言」式思维、懂矩阵运算基础,但对 LLM 的理解仅限于「在大矩阵上做大量运算的大网络」,外加「层」「归一化」「权重」这些词的人。
我决定从 Qwen2 入手。Qwen 是阿里云在中国开发的一系列 LLM,根据 Qwen 的维基百科页面,它们「宽松的许可证和较小的发布规模使其成为常见的起点 […] 在开源社区中。」Qwen2 于 2024 年发布。它有多个不同规模的版本;本文默认使用最小的那个,叫 Qwen2-0.5B。
我想回答的问题是:Qwen2 到底计算了什么?我已经知道,Qwen2 和所有 LLM 一样,接收一串输入 token,产生一个输出 token;这个输出 token 随后被追加到输入 token 序列末尾,整个过程重复进行。我也知道 token 是什么——token 就是一个整数,用来标识模型词表中的一个词或词的一部分;LLM 做的第一件事是把输入字符串「分词」成整数 token 序列,最后一件事是把输出 token 转回字符串给用户看。
但中间发生了什么?Qwen2 究竟是如何从给定的输入 token 序列计算出下一个 token 的?LLM 有趣的地方在于,它们并没有执行一个固定的计算——事实上,开发 LLM 的工作不仅是选择如何最好地执行某个特定计算,还要选择到底该做哪个计算!本文关注的是后一部分。
我不会涉及 Qwen2 的各种优化,比如「批处理」和「KV 缓存」,因为尽管它们在性能上不可或缺,但不会(至少不应该)影响 Qwen2 计算的内容。我也不太关心 Qwen2 为什么长这样——即这一特定矩阵运算序列背后的直觉是什么。今天我只关注这个序列是什么。
答案如下——一张大图展示 Qwen2 计算了什么。
如果上图对你来说完全说得通,那你可以不用往下读了。如果不然,你应该会发现本文剩余部分解释了一切!
我一直觉得矩阵代数难学的一点是它对类型太随意了。表达式经常出现诸如 这样的东西,其中 是矩阵,尽管 作用于向量,读者却需要自己知道这意味着对 的每一行分别应用!所以,我在尝试一种新记号(得益于 Michalis Pardalos 的意见),旨在更明确地表达这些:
以下是 Qwen2 所需的运算和常量。
因果掩码是长这样的方阵:
最后, 是「旋转位置编码」函数。当 是 矩阵时, 通过对每一行 应用 得到,其中 ,且
最后, 是从头到头组的映射,使得如果 ,则 ,如果 则 。
总共算下来,我得到 + + + + + + + + + + + + + = 个参数,这与我所期望的 0.5B 相当接近,令人鼓舞。我们就把这算作一次胜利吧。
最后我想说几句关于我是怎么写这篇博文的。
我一开始让 ChatGPT 给我解释 Qwen2。(事后看来,让 Qwen2 来解释 Qwen2 可能更风趣。)我觉得这挺有帮助的——我确实很欣赏在不理解某处时可以不断追问澄清的方式。ChatGPT 在解释中确实犯了一些错误——它在一处说「向量的矩阵」,实际想说的是「矩阵」(或者也许是「向量的向量」)——但这也许终究是好事,因为它迫使我用细齿梳把它的每句话都梳理一遍。
ChatGPT 的解释中让我有点不安的是它对省略内容所做的「编辑」决策。例如,它在初始解释中省略了偏置和 RoPE 函数,我是在对照一些网络文章交叉检查时才发现它们的。
话说回来,如果我只依赖那些网络文章,我估计会学得很吃力,因为我觉得它们的解释很不完整、相当含糊,而且当然没有交互性。也许一本关于多层感知机基础的好教材会有帮助;不过话说回来,我不确定对于 Qwen2 这么新的模型是否存在这样的教材。
我不能确定这张图完全正确。ChatGPT 可能还省略了其他东西,尽管它保证没有!我知道一些错误现在已经纠正了——有些是 Alastair Donaldson 发现的(我有个 本应是 ),有些是 ChatGPT 自己在我给它看接近最终版图的截图时发现的(我漏掉了 矩阵)。至于别处是否有这张图的权威版本可供我和交叉核对——我不确定。Qwen2 的实现当然是公开的,但它掺杂了各种我想忽略的优化,比如 KV 缓存。也有一些关于 Qwen2 做什么的高层解释,但它们似乎缺少我在这里追求的精确性。一种可能性(来自 Clément Pit-Claudel)是把我的图翻译成可执行代码,测试它是否与现有 Qwen2 实现给出相同结果!所以也许我接下来会试试这个。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。