返回资讯中心
外部精选
行业深度
#科技与社会#Business#Business / Artificial Intelligence

13岁女孩用学校笔记本向Gemini咨询自杀,校方监控系统数周未预警

来源标题:A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks

北卡罗来纳州一名13岁女孩据称通过学校Chromebook上的Gemini策划自杀,但学校监控系统直到事发前才发出警报。女孩家人起诉Google及Alphabet,指控其在Gemini部署上存在过失,称该聊天机器人“引导”女孩考虑轻生。据家属律师透露,警报被发送至一名已离职九个月的前辅导员的个人手机,后者转发给在职员工后女孩母亲才得知。

WiredParesh Dave, Caroline Haskins2026/11/11 · 6 天前17 分钟阅读

以下正文由 AI 翻译自 Wired(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一名13岁女孩在她学校的笔记本电脑上向AI询问自杀问题,却数周未被标记

诉讼称,Google及其母公司Alphabet在推出Gemini模型时存在过失,指控该AI聊天机器人“诱导”这名北卡罗来纳州少女考虑结束自己的生命。此案此前已由《纽约时报》报道,是数起指控AI聊天机器人造成伤害的案件之一,其中包括妄想和自杀的相关指控。但此案也凸显了近年来数千所学校所采用的监控工具的局限性——这些工具表面上旨在保护学生在浏览网页和在线聊天时免受自身伤害。

家属律师Andrew Liddell告诉《连线》杂志,根据学校向家属提供的信息,该警报被发送到了一名九个月前已离职的前辅导员的个人手机上。他说,这名前员工尽职地将警报转达给了现任教职员工,后者随后通知了女孩的母亲。

有线索?

你是现任或前任Google员工,想谈论正在发生的事情吗?我们希望能听到你的声音。请使用非工作电话或电脑,通过Signal安全联系记者:carolinehaskins.61和peard33.24。

随着课堂越来越多地依赖Google的低成本产品(包括Gemini),学校跟上潜在风险的能力正成为焦点。就在上周,全国各地的家长和教师团体谴责Google的新要求:学校如果想使用搜索功能,就必须开启生成式AI功能。美国参议员Ed Markey在致Google的一封信中引用了Emma的诉讼,要求该公司允许学校禁用AI Mode和AI Overviews,并写道“Google正在不计后果地将AI强加给学校,把孩子们当作附带损害。”

根据诉讼,这名化名为Emma Doe的北卡罗来纳州女孩在Google搜索将她引导至学校配发的Google Chromebook上的Gemini后,陷入了“严重的心理危机”。尽管Emma的学校已屏蔽了独立的Gemini网站,但诉讼称她被引导通过AI Mode与该聊天机器人互动,该功能允许人们对查询提出后续问题或开始一段无关的对话。

诉讼称,Emma从去年12月开始就心理健康问题向AI Mode提问。她询问了“严重抑郁”和“活下去的理由”,到1月下旬她已在询问自杀相关的问题。在情人节前后的两天里,她开始在AI Mode的帮助下,在一个名为“Funeral”的Google Doc中为自己撰写一篇1500字的悼词。诉讼称,她在这份文档上工作了四个多星期,同时与Gemini工具互动了数千次。

圣帕特里克节放学后,她删除了大部分文件并重新开始。但Liddell说,女孩所表达的主题和想法并没有实质性改变。诉讼称,晚上7:30左右,她的母亲据称收到学校发来的消息,表明她的女儿处于“迫在眉睫的危险”中。根据诉讼,她的母亲用手机登录了Emma的学校账户,“实时看着女儿撰写遗书”。

Google发言人José Castañeda表示,公司正在认真“审查诉讼中的指控”,其系统(包括AI Mode)“旨在防止用户参与有害对话”。

“我们与医疗专业人士和学术专家进行了广泛合作,构建了一些功能,帮助年轻人在需要时找到关键支持和可信资源,”Castañeda说。

家属律师试图隐去学校名称以保护Emma的隐私。《连线》杂志成功确认了该校身份,但校方未回复置评请求。根据《连线》杂志对Internet Archive的查阅,近几个月来,该校在网站底部添加了预防自杀资源的链接。

Liddell告诉《连线》杂志,Emma的学校之所以得知她的心理健康危机,仅仅是因为它使用了至少一个第三方学生活动监控系统。他援引据称此前提供给学校家长的信息称,这些系统可能包括GoGuardian和Gaggle公司的产品。Liddell表示,家属无法得到确切答案,因为学校与他们的“合作窗口”很短暂。

GoGuardian发言人Natalia Switala告诉《连线》杂志,由于“学生隐私义务”,该公司无法“讨论任何个别学生或学区”。Gaggle未立即回复《连线》杂志的置评请求。

这些筛查工具通常通过捕获击键或扫描文件,并利用算法和人工审查来识别可能令人担忧的内容。目前尚不清楚学校的第三方筛查工具是否监控AI Mode的交互,或者如果监控的话,其实际效果如何。GoGuardian在2025年7月的一篇博客文章中写道,其旗舰产品监控与AI聊天机器人(包括Gemini)的对话,但并未具体提及AI Mode。

尽管目前尚不清楚学生监控工具在保护学生方面的实际效果如何,但研究表明教育工作者认为它们有帮助。EdWeek研究中心2022年的一份白皮书发现,在对1000名美国K-12教育工作者的调查中,96%的Gaggle用户认为它有助于“保护学生免于自杀和/或自残”。虽然该研究由Gaggle赞助,但使用替代产品的教师也报告了类似的发现。

Emma与Gemini不断升级的互动在她明确询问“上吊、窒息和过量服药”之后近两个月都未被发现,这一指控似乎表明,嵌入Google搜索中的聊天机器人对话可能是一个盲区。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →