返回资讯中心
外部精选
软件工程
#社区热议

OpenAI发布新工具打击网络儿童性虐待内容

来源标题:OpenAI: Strengthening the fight against online child sexual abuse

OpenAI推出可检测儿童性虐待材料(CSAM)的新图像分类器,包括AI生成内容,并提供中断有害行为的干预措施、面向开发者的实用资源以及对执法调查人员的支持。这些举措是其儿童安全蓝图的一部分,旨在联合行业、儿童安全组织和执法部门共同保护儿童上网安全。

Hacker Newsrossant2026/11/16 · 昨天22 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

今天,我们发布了一款用于检测儿童性虐待材料(CSAM)的新工具、能够中断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些工作建立在我们此前的《儿童安全蓝图》以及我们持续开展的检测、拦截和报告滥用行为的工作之上。对家长来说,目标很简单:让技术帮助保护儿童安全,同时由人来掌控。

众所周知,打击网络儿童侵害者需要众多组织协同合作。像 OpenAI 这样的个体公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法机构携手,共同推进保护儿童上网的集体努力。

我们在现有防护措施的基础上,发布了一款新的图像分类器,可以检测潜在的 CSAM,包括 AI 生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能未曾见过的新型图像。它会返回评分,帮助审核人员判断哪些图像可能需要优先处理。这是首款广泛可用、并能专门给出信号以指示 CSAM 是否可能由 AI 生成的 CSAM 分类器。

我们的团队在美国国家失踪与受虐儿童中心(NCMEC)的协助下,训练、评估并设计了这款面向实际部署的分类器。NCMEC 是一家运营 CyberTipline 的非营利组织,该热线是网络儿童剥削问题的集中举报中心。

我们通过 OpenAI API 向经过审核的组织免费提供这款分类器的访问权限,让儿童安全组织和更广泛的行业——包括团队规模各异的组织——更容易获得 CSAM 检测能力。

儿童安全是全行业的问题,需要各组织之间紧密协作并采取多种解决方案。我们已与 Tech Coalition 和 ROOST 接触,帮助我们分享这款新工具的访问权限;我们也坚定支持由其他方开发的工具,例如 Thorn 的 Safer CSAM 检测系统。此外,我们最近开始参与 Tech Coalition 的 Lantern 计划,在该计划中我们将分享并接收与网络儿童性剥削和虐待相关的信号,以加强跨平台协作。

我们在内部以及与早期合作伙伴一起测试了这款分类器,以衡量它能检测出多少虐待材料、它多久会误标其他图像,以及它如何支持安全团队。他们的反馈帮助我们发现了弱点并改进了系统。

早期测试表明,这款分类器可以帮助审核人员聚焦于虐待图像,同时减少对误报的审核。在对用户上传图像的评估中,我们将新分类器与现有防护措施进行了比较,发现:

  • 新分类器可以减少审核工作量:我们估计,在检出虐待图像数量与现有工具大致相同的情况下,它标记的图像数量将减少 48%。
  • 被新分类器标记的图像包含虐待内容的可能性约为原来的两倍。

早期访问合作伙伴也评估了这款分类器如何支持他们自己的安全团队。在 fal 对经人工审核的生产图像进行的测试中,审核人员确认分类器高置信度标记中有 72% 为新型 CSAM。invideo AI 的测试显示,四分之一的被标记案例导致了封禁。在 SafetyKit 涉及将儿童性化的绘画或动画的评估中,分类器检测出了 90% 的案例。

有关该分类器的更多信息,请参阅 CSAM 分类器模型卡。有兴趣的组织可以通过我们的申请表单请求访问权限。我们将继续根据使用者的反馈改进这款分类器。

我们已经禁止 CSAM,训练我们的模型拒绝相关请求,并对违反我们政策的账户采取行动。我们在这些防护措施的基础上,在 ChatGPT 中新增了产品警告,用于中断寻找虐待材料的尝试、说明后果,并引导人们寻求帮助以停止有害行为。

该警告明确指出,将儿童性化会造成伤害,即使所请求的材料是 AI 生成的也不例外。在发出警告的同时,我们将删除被标记的对话,并暂停该用户访问 ChatGPT 24 小时,同时保持专家支持渠道可用,以帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终导致账户关闭或向有关部门报告。

我们是在研究并制定儿童性虐待预防项目的组织和学术顾问的意见基础上制定这一方法的,包括 Protect Children、Lucy Faithfull Foundation、肯特大学法医心理学研究员兼荣誉讲师 Caoilte Ó Ciardha 博士,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了威慑信息的试验。

保护儿童上网并不止于检测。我们发布了 CSAM 指南,为开发者提供预防虐待、检测有害内容并采取行动的实用步骤。该指南在 Tech Coalition、Thorn、NCMEC 和 Internet Watch Foundation 的意见基础上制定,面向处于安全系统建设不同阶段的组织。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →