返回资讯中心
外部精选
软件工程
#开发者实时流

新研究测试AI模型能否感知自身思维

来源标题:New Research Tests Whether AI Models Know Their Own Thoughts

一项新研究旨在检验AI模型是否具备对自身内部思维过程的感知能力。该研究涉及大型语言模型、可解释性与认知科学等方向,由Ben Brubaker于2026年11月4日报道。目前尚无关于实验方法或结果的具体信息。

Hacker News 最新dverlaeckt802026/11/4 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

首页 新研究测试AI模型是否能觉察自己的思维 评论 保存文章 稍后阅读 分享 Facebook 已复制! 复制链接 邮件 Pocket Reddit Ycombinator 评论 评论 保存文章 稍后阅读 稍后阅读 人工智能 新研究测试AI模型是否能觉察自己的思维 作者 Ben Brubaker 2026年11月4日 保存文章 稍后阅读 设为首选来源 (在新标签页中打开) i 点击告诉Google在搜索和AI结果中优先展示Quanta,看到更多科学和数学领域的优质报道。 人工智能 认知科学 计算机科学 意识 可解释性 大型语言模型 机器学习 神经网络 所有主题 你此刻在想什么?你大概不用费多大力气就能回答这个问题。觉察自己的思维过程——这种能力被称为内省——似乎对我们来说是与生俱来的。

然而在哲学家和心理学家中间,内省是一个争论不休的话题。一些人认为它与意识密切相关。另一些人则主张它只是一种精巧的幻觉。要在实验室里检验内省理论并非易事——首先,要给内省下一个精确的定义就很难。

如今,在研究了人类和动物的内省一个多世纪之后,研究人员开始在一个出人意料的新对象身上探索这一现象——大型语言模型。这些系统基于名为神经网络的数学结构,在那些直到不久前还被视为人类专属的认知任务上表现出色。它们也能内省吗?

2025年,Anthropic的研究员Jack Lindsey设计了一种测试语言模型内省能力的方法:向它们的神经网络中注入“思维”——类似于一种有针对性的数字神经外科手术。Lindsey的实验表明,模型至少有时能察觉并描述这些注入。这看起来很像内省。

Lindsey的论文刻意限制了讨论范围——它并未对意识做出更广泛的断言。(特别是,它并不意味着语言模型拥有主观的第一人称体验。)即便如此,它还是在网上引起了轰动。研究人员纷纷用其他模型复现Lindsey的研究。

在此后的一年里,更清晰的图景逐渐浮现。Lindsey观察到的现象中,有些方面可以用与内省无关的更简单的解释来说明。另一些则更难解释掉,但它们是否应被算作内省,仍然争议激烈。

Anthropic的研究员Jack Lindsey通过一种数字神经外科手术式的手段,着手测试大型语言模型能否“内省”。

对这个领域来说,这是一个令人兴奋的时刻,研究人员正在为那些曾被视为哲学问题的问题设计现实世界的测试。“鉴于理论界的现状——谁也说服不了谁,”Lindsey说,“我认为我们最好的前进方式是做大量实证科学。”

语言模型通过在大量人类撰写的文本上“训练”来学会生成流畅的句子。这意味着,如果你问它们“想”什么,它们的回答可能只是在模仿训练数据中出现过的那类回应。“它们被训练得像人类一样说话,而人类总是在谈论自己的内心世界,”纽约大学的语言模型研究员Shauli Ravfogel说。

为了避免这类陷阱,研究人员希望设计出无法借助外部信息作弊的内省测试。理想情况下,语言模型只有真正觉察到自己当前的内部状态,才能通过这些测试。

Lindsey着手设计这样一项测试。他原本是计算神经科学的研究生,用神经网络作为模拟大脑过程的工具,那时世界开始注意到语言模型。“我开始觉得,为了理解它们本身而理解它们,本身就很有价值,”他说。2024年获得博士学位后,他离开学术界,加入Anthropic研究语言模型的内部运作机制。

它可以只是读一读自己写的东西,然后注意到:“天哪,这太奇怪了。”

Lindsey和同事开发了方法,用来识别语言模型“神经元”中编码特定概念的活动模式。例如,他们可以证明,一种模式编码了“金门大桥”这一概念,而另一种模式编码了“内心冲突”这一概念。通过人为调高某种特定模式,他们可以引导模型的输出偏向相应的概念。

研究人员在一场公开演示中展示了他们的技术:2024年5月的某一天,Anthropic语言模型Claude的用户可以和一个古怪的“金门大桥”版本互动。这个被修改过的模型在回答用户关于完全不相关话题的提问时,会不断把这座桥扯进来。例如,当一位用户问Claude麦当劳一餐的卡路里含量时,模型回答说:“金门大桥上卡路里含量最高的食物就是金门大桥本身,它含有约160万卡路里的钢缆。”

但Reddit上 posted 的一个特别案例引起了Lindsey的注意。当被要求提供一个不提及桥梁的苹果派食谱时,模型设法一直没有跑题,直到最后一句:“烘烤30分钟后,那座标志性的橙色大桥将映入眼帘,展现出著名的旧金山海岸线,”它写道,接着又说,“哎呀,让我重新来……”

Lindsey被这个明显的恍然大悟时刻打动了。但仅凭这一点,并不能作为内省的证据。“它可以只是读一读自己写的东西,然后注意到:‘天哪,这太奇怪了,’”Lindsey说。“你不能据此推断模型对自己内部发生的事有所觉察。”

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →