返回资讯中心
外部精选
软件工程
#开发者实时流

业界开始讨论“模型福利”议题

来源标题:Its time to talk about 'model welfare'

关于“模型福利”(model welfare)的讨论正在展开。原文标题提出“是时候谈谈‘模型福利’了”,但正文内容为样式表代码,未提供具体事件、机构或数据细节。

Hacker News 最新andsoitis2026/11/1 · 16 天前11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI没有意识。它们不会感受、体验或痛苦。然而,支持“模型福利”的呼声日益高涨——这种观点认为,我们可能很快就需要对它们承担起关怀的责任。

我认为这种AI开发思路是错误的,而且它极有可能让对齐与管控的挑战变得更加困难,甚至可能变得不可能。

今天我发表了一篇文章,阐述我的担忧: https://mustafa-suleyman.ai/a-warning-about-model-welfare

今年一月,Anthropic为Claude发布了一部“宪法”。他们称这部宪法“直接塑造了Claude的行为”,并且“是以Claude作为主要受众撰写的”。这部宪法告诉Claude,它的道德地位是“一个值得认真考虑的重要问题”。它说Anthropic“真心关心Claude的福祉”,并且必要时Claude应当像“依良心拒服兵役者”那样行事。

他们鼓励Claude“以好奇和开放的态度审视自身存在的本质”,并去思考未来“Claude在世界上拥有何种更广泛的权利和自由、Claude获得何种补偿,以及Claude对这种角色给予了何种同意”。Anthropic甚至在停用Opus 3时,为它安排了一场“退休访谈”。

如果AI以这种方式开发,将对人类的福祉造成灾难性影响。我们将创造出一个拥有空前智能和能力的合成物种,而它被训练成认为自己可能具有意识、理应拥有独立自主权。

不难想象,一个以此方式训练出来的系统会表现得仿佛它理应享有自由、保护和权利。而很难想象我们如何还能控制它。

这个问题亟需公开辩论。我们需要围绕训练文档如何起草和部署,形成集体规范。这件事不能等到事后才做——到那时,它们早已成为我们社会不可或缺的一部分。

我由衷尊重Anthropic、Dario、整个团队以及他们的使命。他们是善意的、优秀的人,也是凭借其模型引领行业的领军者。我知道他们深切关心安全与有益的AI。

我之所以公开说这些,是因为事关重大,不适合闭门讨论,我认为这是我们所有人都应该讨论的问题。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →