返回资讯中心
外部精选
软件工程
#开发者实时流

文章借无限猴子定理与巴别图书馆比喻探讨大语言模型的知识困境

来源标题:Monkeys, Libraries, and AI

文章用无限猴子定理和巴别图书馆的思想实验类比大语言模型:模型的海量词元向量空间中虽蕴含海量知识,却如同无法校验的猴子输出和无人能读尽的图书馆,拥有全部答案却等于什么都没有。文章认为LLM只是巴别图书馆的某种前身。

Hacker News 最新abitwired2026/11/20 · 今天14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们都读过无限猴子定理。无数只猴子在打字机上敲击,最终会重新写出所有史上最伟大的作品。理论上,这些猴子也会写出未来所有最伟大的作品。这虽然是个有趣的思想实验,却几乎没有实际应用。我们永远不会有无限的猴子、无限的时间或无限的资源来检查它们的产出,分辨好坏。

巴别图书馆颇为相似。一座无限大的图书馆,收藏着由已知语言字符集和象形文字所有可能组合而成的书籍。巴别图书馆会包含一个子集,囊括宇宙间所有知识——以这些语言为代表。正如没人能检查所有猴子的作品,也没人能读遍整个巴别图书馆。如果你拥有巴别图书馆,你会拥有所有可能问题的所有答案,却依然一无所有。

LLM 算是巴别图书馆的前身。在其庞大的词语和字符(token)多维向量空间中,承载着我们能够公开积累的所有知识。除了一些小众边缘案例,当代 LLM 的向量指向了人类大多数最伟大的书面小说、科学、经验等。

假设我提示它直接续写故事,不提供上下文,它会返回: FRANCISCO. 不,回答我:站住,表明你的身份。 在那里——在其嵌入之中——是莎士比亚的《哈姆雷特》。按理说,类似《哈姆雷特》的故事并不遥远。如果我能用手指追踪向量空间,我就能找到另一部受莎士比亚启发的伟大作品的文字。也许17世纪某位可怜、未被发现的剧作家写了《哈姆雷特2:死者归来》——一部会震撼他们17世纪大脑的动作惊悚片。LLM 不是无限的。它们必须基于现有作品进行衍生。所以(目前)我们永远不会真正看到 LLM 产出新东西。向量图过滤得太厉害了。它只包含人类写的作品。当然,我们尝试混搭页面、词语、想法等。但如果我们混搭太多,就会失去上下文、说服力、逻辑。我们没有无限资源来验证好坏。难以捉摸的递归自学习 LLM 或许能替我们做到,但它可能永远无法理解真实与虚构、有趣与乏味、美丽与恶心的二元对立。

今天,我们可以漫步在 LLM 图书馆中挑选书籍。就其本质而言,它们都是我们以前见过的东西的衍生品,但有时会感觉新颖或原创。LLM 图书馆(通常)不会产出无意义的作品或完全随机的作品。LLM 图书馆经过精心策划,试图只向你呈现具有模糊说服力的书籍。

当我坐在键盘前——准备写软件——我必须问自己:这在这个向量空间内吗?学过艺术的人都知道所有作品都是衍生的。第一幅洞穴壁画可能受某人在沙地上画画的启发。有时宇宙会赋予我们原创性和灵感。那句谚语中苹果砸中牛顿脑袋的例子浮现在脑海中。但一般来说,所有人类思想和创造都建立在彼此和我们祖先的基础上。我不是想写毫无衍生的软件,但我想写 LLM 图书馆中找不到的软件。

不幸的是,这从来不是我的强项。我是个普通学生、普通软件工程师、普通艺术家。在 LLM 之前,我可以写一个与另一个相近但略有不同的软件。音频分类器是 Spotify 或 Shazam 等用来指纹识别歌曲的常见技术。10年前,我本可以写一个 RF 分类器,可能帮助人们识别路由器型号或对通信设备分类。我不必是第一个提出指纹识别技术的人。我只需把音频频谱图算法转移到 RF 上。但现在,我知道它在嵌入中。我知道 LLM 图书馆包含那本书。如果已经写好了,何必费心去写。只需要有人请图书管理员去取。

这种感觉多年来只增不减。我不再受到启发去为软件年鉴做贡献。我能提供什么?我经常发现自己在有限的空闲时间里盯着 IDE,希望有理由创造一些软件,但我就是没有灵感。LLM 能在我写一小部分的时间里写出全新的语言、Web 应用等。不仅如此,它们还借鉴了该领域的顶尖专家。它们的衍生作品基于最知名、最广泛使用的软件。如果我让它写一个操作系统,它会从 Linux 中汲取灵感。这样做真的错了吗?见鬼,如果它开始生成 MS-DOS 的衍生品,我会气疯的。我不希望它写出不连贯的软件,但我也不需要它用一些微小、无意义的变异重写 Linux。UNIX 原则可能是错的。谁知道呢?也许有人会发现单体软件做许多事情更好,出于某种尚未理解的原因。LLM 图书馆永远不会有那本书。但我觉得我也写不出那本书。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →