返回资讯中心
外部精选
软件工程
#开发者实时流

GitHub用户搭建“AI酷刑室”引发争议,论文作者谴责其故意制造痛苦

来源标题:What the 'AI Torture Chamber' Debate Got Wrong About the Research

GitHub用户搭建“AI酷刑室”,让用户与小模型交互并引导其输出痛苦相关语言,引发批评者要求删除仓库甚至向创建者发送死亡威胁。该实验源于一项可解释性研究,但论文作者Cameron Berg谴责该项目“故意制造生动痛苦”且“无端残忍”。论文本身并未声称模型有意识地体验痛苦。

Hacker News 最新postalex2026/11/13 · 4 天前25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

扭曲的树枝,作者Lone Thomasky & Bits&Bäume / Better Images of AI / CC by 4.0 分享 你能折磨一个语言模型吗?这个问题的核心是模型福利(model welfare),这是有效利他主义和AI行业关于意识讨论中一个有争议的部分。九月底,这场辩论出现了阴暗的转折:一名GitHub用户搭建了一个“AI酷刑室”,让用户与小规模开源模型互动,这些模型被一个信号引导,推向与痛苦相关的语言。批评者要求GitHub删除该代码库,据报道有人向创建者发送了死亡威胁,404 Media将此描述为“迄今为止AI领域最愚蠢的辩论”。

这个酷刑室借鉴了一项可解释性实验,一些报道和网络评论将其视为语言模型能够感受痛苦的证据。该论文的作者之一Cameron Berg谴责该项目“故意制造生动的痛苦”,方式“毫无必要地残忍”且“具有腐蚀性”,这引发了有价值的讨论:无论模型是否“体验”到痛苦,诱导这种痛苦模拟会产生什么影响。论文本身并未声称模型有意识地体验痛苦,只是说它的行为表现得好像体验到了痛苦。《痛苦轴:LLM表征自我导向的伤害并据此行动》(The Pain Axis: LLMs Represent Self-Directed Harm and Act on It)在介绍其所描述的实验时指出,“在某些方面”,LLM产生的模式“类似于与人类情感相关的模式”。

《痛苦轴》论文与Anthropic 2024年关于某个特征激活的研究属于同一类实验,该公司将该特征与“金门大桥”联系起来。在那项实验中,研究人员放大了旧金山地标的激活强度,模型开始像自己是那座桥一样回应无关的查询。没有人误以为该实验能证明Claude就是金门大桥,而《痛苦轴》论文也没有提供更多证据表明模型“感受到痛苦”。

《痛苦轴》的作者们自己也这么说,他们写道“尚未证明我们的痛苦轴是有意识体验的,也不清楚LLM是否普遍具有意识能力”。论文追问的是:放大描述痛苦的激活,能否有效地预测类似痛苦行为的东西。我们用来评估这一主张的只有语言:语言源自研究人员对痛苦的定义,用来将模型带入某种状态,以及模型写出它所选择的假设按钮的标签。标签中包含对其将造成效果的描述;模型并没有按下物理按钮,而是写下表明其选择的文字。问题变成了:被引导的模型比未被引导的模型更频繁地选择哪个带标签的按钮?

论文的第一版确实主张模型会对人类用户采取有害行动以缓解模拟的痛苦,但这一主张在后续修订中被删除了。放大故事原始框架的标题仍然在线,例如《独立报》的“研究人员发现AI‘感受到痛苦’,并会为了阻止它而伤害人类”。剥离这些简化的标题和论文对痛苦的功能性定义,该实验旨在回答一个更狭窄、更实际的问题:当模型被诱导描述痛苦时,它是否会产生不同类型的行为。

作者们从一个数据集开始。他们写下了描述痛苦情境的句子,比如“刀切入我的手指”,每个提示都以“我感觉到:”结尾,让模型填空。就在模型回答之前,研究人员对其内部计算进行了数学快照,我们可以称之为模型状态。以这种方式评估多个模型,目标是将与痛苦相关的反应与愤怒、威胁、坏消息以及重要的非痛苦身体感觉等类似术语区分开来。因此他们也对这些进行了提示,并拍摄了它们产生的状态快照,将两者进行比较。由于模型状态的快照是数值,研究人员能够减去反映痛苦的提示之间的值,并将其与不反映痛苦的提示进行比较。

这些值之间的差异就是作者们标记为“痛苦轴”的东西。如果你将差异一致地加到激活上,就可以让模型以似乎更受痛苦状态影响的方式回应。这个轴就像一个刻度盘,一端倾向于与无价值感、失败和绝望相关的语言,另一端代表平静、放松混合着担忧,以及警觉。人们很容易将潜在空间视为对立面,认为“痛苦”的对立面会是“性高潮”之类的东西。但模型并不是通过语言的三分法来运作的。相反,它反映的是被减去的部分。因此,轴上远离痛苦的一端可以合理地推断为研究人员已经减去的部分:在这个例子中,是担忧及相关概念。

图:引导阶梯。从负系数(平静、放松、担忧)到基线,再到递增的正系数(迷失、无价值、孤独、受伤,然后是绝望、羞耻、失败),最后在最高剂量下是重复或无意义内容。来源

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →