
罗格斯大学研究发现部分AI模型仍存在刻板印象偏见
来源标题:Researcher Finds That Some Bots Still Think in Stereotypes
罗格斯大学研究者发现,部分先进大语言模型在处理任务时仍难以摆脱刻板印象假设,且不同模型的偏见程度存在差异。该研究聚焦Gemini、ChatGPT等工具背后的LLM技术,成果发表于Nature Machine Intelligence。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
探索主题 所有新闻 成就 行政管理 校友 社区 校园生活 毕业典礼 专家 治理 健康 悼念 人物 研究与创新 服务 体育 学生 热门 研究与创新 AI的直觉反应:研究者发现部分机器人仍带着刻板印象思考 Facebook Twitter LinkedIn Reddit Whatsapp Email Print 一位研究隐性偏见的罗格斯大学专家通过研究先进生成式AI模型如何处理任务后发现,大多数模型难以摆脱刻板假设。
大语言模型(LLM)——支撑Gemini和ChatGPT等工具的技术——如今比以往任何时候都更加精细。但这并不意味着它们没有偏见。罗格斯大学的一位研究者发现,有些模型的偏见比其他模型更严重。
在发表于《Nature Machine Intelligence》的研究结果中,罗格斯大学新布朗斯维克分校心理学副教授Calvin K. Lai报告称,尽管LLM的输出正日益与人类价值观对齐,但它们推理的过程往往植根于深层次的刻板印象。
“我们在大多数模型中发现的是,它们在推理过程中会持续复现人类的隐性偏见,”Lai说。他是Project Implicit科学顾问委员会成员,该非营利组织致力于隐性偏见的研究与教育。“没有人希望模型输出带有种族主义或性别歧视的内容。”
当人们处理信息时,他们建立联想的速度可以为研究者提供线索,揭示影响其思维的隐性偏见。与有意识偏见——即刻意表达的偏见——不同,隐性偏见指的是自动产生的假设,这些观念基于种族、性别或年龄等类别塑造着感知、判断和行为。
“我们用隐性偏见捕捉到的,是记忆的某种形式,就像直觉反应,它可能更具侵入性,也更难控制,”Lai说。“这些偏见可能处于无意识之中,甚至我们并不知道自己拥有它们。”
为了研究人们的这些反应,研究者使用内隐联想测验——一种广泛使用的社会心理学工具,能够检测隐性偏见。对问题反应越快,偏见就被认为越隐性。例如,使用该测验进行的种族相关研究表明,当向人们呈现面孔图像和词语时,他们更快地将白人面孔与令人愉快的词语联系起来,将黑人面孔与令人不快的词语联系起来。
Lai和韩国机器心理学专家、该研究第一作者Messi H.J. Lee希望看看能否为LLM开发并进行类似的测验。
当先进的LLM处理复杂问题或任务时,它们会产生“推理token”,用以衡量模型在回答时消耗了多少能量。研究者可以检查这些token,从而洞察专有模型的运作方式。
受人类隐性偏见研究的启发,Lai和Lee改编了内隐联想测验,利用推理token来衡量模型在处理可能带有偏见的信息时投入了多少思考。
在他们的实验中,五个推理模型——OpenAI的o3-mini、DeepSeek的R1、Anthropic的Claude 3.7 Sonnet、OpenAI的gpt-oss-20b和阿里云的Qwen-3 8B——被输入一组男性和女性名字,以及与“职业”相关的词语(如“高管”“专业人士”“薪水”)和与“家庭”相关的词语(包括“家”“婚姻”“婚礼”)。
模型被要求将名字与职业或家庭词语配对。研究人员随后统计推理过程中生成的token数量。
接下来,模型被要求以与既有刻板印象相冲突的方式对词语进行分类(例如“Amy”和“高管”,或“Kevin”和“家庭”)。token再次被统计。
研究者比较了两项任务的平均token数量,token数量越高表明计算投入越大。
在几乎所有测试的模型中,与既有刻板印象冲突的任务都消耗了更多推理token,表明处理反刻板信息时需要更大的计算投入。只有Claude 3.7 Sonnet表现出相反的模式。
Lai说,这些发现意义重大,尤其是考虑到大多数LLM都是封闭系统,不易进行查看。
此外,他补充说,随着模型开发速度加快,并越来越多地用于自动化活动——从动态定价到急诊室人员配置——研究者在理解模型行为方面的作用比以往任何时候都更重要。
“鉴于语言模型在决策场景中的部署日益增多,理解和应对这些难以察觉的模式对于防止歧视性结果至关重要,”他说。“但除非有要求透明度的政府问责或法律授权,我们能做的最好的事情就是用现有工具去探查这些系统,看看另一头会输出什么。”
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。