返回资讯中心
外部精选
软件工程
#开发者实时流

研究者绘制Qwen3模型内部对话表征图谱

来源标题:What thousands of conversations look like inside a language model

研究者构建了Qwen3-1.7B内部表征的交互式图谱,将数千段对话映射到向量空间。图谱基于模型残差流中的向量,展示相似话题或同一概念在不同语言下表达时是否落在相邻区域。

Hacker News 最新josip2082026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我绘制了 Qwen 内部数千段对话的图谱,想看看语言是如何成形的。与语言模型可能发生的每一段对话——每一个问题、每一次误解、每一段解释、每一场未完成的争论——都会产生一串内部状态。我们能否把这片地形画出来?谈论相似事物的对话,是否会穿行在相邻的区域?同一个想法用不同语言表达,是否会在某个可辨认的相似位置落脚?这些问题促使我为 Qwen3-1.7B 的内部表征构建了一个交互式图谱。

在看这些图之前,最好先了解被映射的是什么。模型把文本切分成 token——词、词的一部分,或标点。每个 token 从嵌入表里选出一行:一张学到的数字列表,为它提供起始表征。我想映射数千段对话,看看它们在向量空间里如何成形。我关心的向量来自残差流(residual stream),也就是模型中央的共享工作区。嵌入表提供起始向量,每个 token 位置一个向量;各层在处理文本时从这个工作区读取、也向其中写入。Taras Tsugrii 关于残差流的一章更详细地解释了这一视角。在 Qwen3-1.7B 中,每个位置的向量包含 2,048 个数字。把这也称为模型的“心智”只是一种比喻,但向量是具体的:我们可以记录它们、比较它们,并考察它们的几何结构如何随上下文变化。

我从 100 个主题入手,生成了英语、中文、德语和克罗地亚语的问题–回答示例,另外还单独收集了一批编程示例。这是一个刻意构造的小样本,背后是一个大得多的可能性空间。在考察一段对话之前,我想先看看模型的起始向量。每个输入 token 都对应嵌入表中一行学到的向量。这些向量成为初始表征,再由模型的各层加以变换。下图橙色点云中的每个点代表一个 token 的输入嵌入,投影到三维空间。一个 token 可以是一个完整的词、词的一部分,或标点。嵌入表在这里呈现为一团起始点构成的云,它们之间没有对话顺序相连。旋转它,可以初步窥见其几何结构。嵌入表已经编码了 token 之间学到的关系。训练通过 token 使用方式的模式塑造这些向量,为模型理解和处理文本提供了一个有意义的起点。随后,各层利用每个位置可用的上下文,对这些起始表征加以精炼。一整段对话包含许多 token 状态,而不是一个单一的 2,048 维描述。

我先从 100 个主题下的 900 个英语问答示例入手,全部由同一个冻结的模型处理。每个 token 从嵌入表获得一个学到的起始向量。Qwen 的各层利用该位置可用的上下文更新其表征。我记录了最终的 token 状态,并对它们的长度做了归一化,以便可视化比较的是方向。在下图中,橙色点云仍然以单个点的形式展示输入嵌入。彩色线条连接每个对话示例的最终 token 状态。每条线段把一个 token 位置的状态连接到下一个位置的状态,随着问题和回答的推进,在这片投影空间中描出一条路径。许多对话路径同时展示在一起。这些线按文本顺序连接离散的已保存状态;它们并不展示 token 穿过模型各层的旅程。为保证比较公平,我用词表嵌入和所有对话的平均值计算了一个全局 PCA 坐标系。然后我逐个显示各个数据集。往这些图里加入一种语言会改变可见内容,而全局坐标轴保持不变。

在一百个主题上,英语状态似乎占据着一张薄薄的片。随着镜头转动,一个宽阔的形状收窄到几乎成一条边。这一印象经受住了测量:在这个三维投影中,一个最佳拟合平面容纳了英语 token 状态约 99.3% 的变化。人们很容易把这张薄片解读为证据,说明模型把极其多样的对话压缩进了一个异常简单的曲面。在接受这个解释之前,我想改变一些比主题更根本的东西。我引入了相同主题、相同问题意图的中文版本,然后让 Qwen 独立生成它的回答。粉色的状态出现在相邻区域,与英语明显错开。这种分离让一个抽象问题变得具体。一个表征可以同时携带关于所讨论主题的信息,以及关于讨论所用语言的信息。如果中文和英语的相似问题占据不同区域,这种分离代表什么?是想法本身?是书写系统?是模型生成回答所需的词汇和结构?仅凭几何结构无法厘清这些可能性。在这个实验里,语言、文字、分词方式、措辞和回答质量全都一起变了。也许,期待一个表征包含与表达形式干净剥离的“纯意义”,本身就是我带进这张图里的一个假设。

这些提供了有用的对照:另外两种使用拉丁字母书写的自然语言。德语和克罗地亚语处在英语的广大邻域内,有大量重叠。在这个视角下,中文仍然明显更偏一些。这幅图提示的是中心与形状各不相同的重叠区域,而并不能证明模型整个残差空间里存在彼此独立的语言隔间。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →