采样算法如何影响LLM系统性能
来源标题:Greedy, Random, and Nucleus Sampling Explained
文章系统介绍了贪心、随机和核采样三类采样算法,指出当前对大模型的讨论过度集中于模型本身,而采样算法对系统性能同样关键。作者从LLM输出概率分布的原理讲起,解释各算法的运作方式。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
如今几乎所有关于 LLM 的讨论都围绕着模型本身。这个模型比那个模型好,那个模型又比另一个模型好。真是……让人疲惫。而且,这也仅仅触及了构建一个有效 LLM 系统的皮毛。今天,我想带你进入一个全新的世界:采样算法的世界。我们将讨论它们是什么、其中一些是如何工作的,以及它们对系统性能可能产生的影响。
如果你曾看过关于自回归语言模型工作原理的简单解释,你很可能已经对采样算法有了直观的理解。如果没有,也不用担心,它实际上并没有听起来那么复杂。当你给 LLM 一段文本时,它实际上并不会直接输出更多文本。在聊天机器人或其他场景中使用 LLM 时,所谓的“写作”行为来自一个使用 LLM 的上层程序。LLM 本身只能输出一个概率分布。什么分布呢?给定一个词序列,LLM 会输出下一个词可能是什么的概率分布。我在关于马尔可夫链的博客文章中有更深入的讨论。例如,假设我们给 LLM 一个短语:“The cat sat on the ”。作为回报,LLM 会给出所有可能出现在后面的词的概率分布。为了生成文本,我们只需要从这些可能的词中挑选一个,并将其追加到输入中。然后,我们可以再次重复这个循环。如果我们这样做的次数足够多,就能从模型中得到听起来连贯的文段。
难点在于:我们如何从概率分布中选择一个词?答案是:使用采样算法。贪心采样是最显而易见的解决方案。给定一个概率分布,贪心采样算法每次都会简单地选择最可能的词。在我们的“The cat sat on the ”例子中,贪心算法会选择概率最高的词“hat”。它简单、优雅,有时也能完成任务。但是,你可能已经猜到了,它并非最优。贪心采样最明显的问题在你生成有意义的文本量后就会立刻显现:文中充斥着重复。当我让一个小型语言模型 SmolLM2:135M 谈谈 Python 时,我得到的是:
Python 是一门非常适合初学者的语言,因为它易于学习,并且拥有庞大的用户社区。然而,值得注意的是,Python 的学习可能具有挑战性,尤其是对于没有编程经验的人来说。但有了正确的资源和扎实的基础,Python 可以成为任何希望开发创新解决方案的人的强大工具。Python 的一些关键特性包括:
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。