研究工具探索大语言模型内部机制

伍迪·艾伦曾讲过一个老笑话，描述他读大学时的经历：“我因为形而上学考试作弊被大学开除了；我偷看了旁边那个男孩的灵魂。”要是他当年能顺利通过那门课，伍迪·艾伦或许算是走在时代前面了。

如今，形而上学正成为一个热门话题，似乎每个人都迫切想在大语言模型（LLM）里寻找灵魂。去年四月，Anthropic 举办了一场会议，邀请宗教学者和哲学思想家，讨论其最新 Claude 模型所涉及的灵魂本质问题。看来他们需要一些达里奥·阿莫代伊无法提供的指引。

现在似乎正是深入探讨如何真正窥视身旁 LLM 心智的好时机。相关研究一直在大量进行；然而，正是那些基础模型公司——包括 Anthropic 和 OpenAI——被批评将更多算力资金投入到更好的模型上，而非安全研究。机制可解释性——致力于探索这些模型内部运作的 AI 研究领域——已从 2021 年的寥寥数名研究者发展到数百名活跃贡献者。然而，尽管存在资金缺口、也缺少更大规模的学术讨论会，研究社区还是提出了一些有趣的洞见和工具，来帮助完成这种“窥视”。

与其袖手旁观、猜想这该如何做到，我觉得做一个工具让更多人加入这场派对会很有意思。于是便有了“TinyGPT Visualizer”的开发。我对它的目标并不高。我想要一个能用来纵览该领域、并亲自尝试这些实际技术以了解其原理的工具。作为一个视觉型的人，我开始构思一台 X 光机——一台能看进真实模型内部的设备。不是玩具模型。是真实模型，但要小到能在一屏之内看清它所有运转的部件。

让我展示一下它长什么样：

你的浏览器不支持嵌入式视频。请下载视频。TinyGPT Visualizer 演示：深入网络内部 我们或许会好奇，意识究竟存在于构成模型的那些数值矩阵的哪个角落；这些数字就在那里，看得见。与人类大脑不同，我们可以在思维形成的过程中停下来观察这些数字，而不必杀死病人；也不同于人类大脑，我们可以在这些数字中搜寻模式和算法，来解释这些模型为何能输出结构良好的文章、代码、音乐和视频。我们会找到结构良好的情感吗？如果找得到，它们就在这些数字里。

哲学和宗教会帮到我们吗？迄今为止，这些学科还无需依赖数字和计算，但也许它们如今有了新的用武之地。

TinyGPT Visualizer 是开源的。你可以在 GitHub 上找到代码、安装说明和文档：github.com/oshea00/tinygpt-viz。