返回资讯中心
外部精选
企业动态
#模型发布#官方公告#Safety

OpenAI推出新工具检测儿童性虐待材料

来源标题:Strengthening the fight against online child sexual abuse with new tools and support

OpenAI发布了一款新的图像分类器,用于检测潜在的儿童性虐待材料(CSAM),其中也包括AI生成的图像。同时推出了中断有害行为的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些举措是其儿童安全蓝图的一部分,旨在预防、检测和应对在线儿童性剥削与虐待。

OpenAI2026/11/16 · 今天22 分钟阅读

以下正文由 AI 翻译自 OpenAI(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

新工具、实用指南和合作伙伴关系将帮助预防、检测和应对在线儿童性剥削与虐待。

今天,我们发布了一款新工具,用于检测儿童性虐待材料(CSAM),同时推出能够中断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些工作建立在我们此前的Child Safety Blueprint以及我们持续开展的检测、拦截和报告虐待行为的工作基础之上。对家长来说,目标很简单:用技术帮助保护儿童安全,同时让人掌握控制权。

众所周知,打击网络儿童侵害者需要众多组织协同合作。像OpenAI这样的个体公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法部门携手合作,推进保护儿童在线安全的集体努力。

我们在现有防护措施的基础上,发布了一款新的图像分类器,可以检测潜在的CSAM,包括AI生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能未曾见过的新图像。它会返回评分,帮助审核人员判断哪些图像可能需要优先处理。这是首个广泛可用的CSAM分类器,能够专门发出信号,指示CSAM是否可能由AI生成。

我们的团队在美国国家失踪与受虐儿童中心(NCMEC)的协助下,对该分类器进行了训练、评估和面向实际部署的设计。NCMEC是一家运营CyberTipline的非营利组织,后者是儿童在线剥削的集中举报中心。

我们通过OpenAI API免费向经过审核的组织提供该分类器的访问权限,使儿童安全组织和更广泛的行业——包括团队规模各异的组织——能够更容易地使用CSAM检测能力。

儿童安全是行业性问题,需要各组织之间紧密协作并采用多种解决方案。我们已与Tech Coalition和ROOST接触,帮助我们分享这款新工具的访问权限,我们也大力支持由其他方开发的工具,例如Thorn的Safer CSAM检测系统。此外,我们最近开始参与Tech Coalition的Lantern项目,在该项目中我们将分享和接收与在线儿童性剥削和虐待相关的信号,以加强跨平台协作。

我们已在内部以及与早期合作伙伴一起测试了该分类器,以衡量它检测出多少虐待材料、多久会误标其他图像,以及它如何支持安全团队。他们的反馈帮助我们发现了弱点并改进了系统。

早期测试表明,该分类器可以帮助审核人员聚焦于虐待图像,同时减少对误报的审核。在对用户上传图像的评估中,我们将新分类器与现有防护措施进行了比较,发现:

新分类器可以减少审核工作量:我们估计,与现有工具相比,它标记的图像数量将减少48%,同时发现的虐待图像数量大致相同。 被新分类器标记的图像包含虐待内容的可能性约为前者的两倍。

早期访问合作伙伴也评估了该分类器如何支持他们自己的安全团队。在fal对人工审核过的生产图像进行的测试中,审核人员确认分类器高置信度标记中有72%为新型CSAM。invideo AI的测试显示,每四个被标记的案例中就有一个导致账号封禁。在SafetyKit涉及将儿童性化的绘画或动画的评估中,该分类器检测出了90%的案例。

有关该分类器的更多信息可在CSAM分类器模型卡中查阅。有兴趣的组织可以通过我们的申请表单请求访问权限。我们将继续根据使用者的反馈改进该分类器。

我们已经禁止CSAM,训练我们的模型拒绝相关请求,并对违反政策的账号采取行动。我们正在这些防护措施的基础上,在ChatGPT中新增产品警告,以中断试图寻找虐待材料的行为,解释后果,并引导人们寻求帮助以停止有害行为。

该警告明确指出,将儿童性化会造成伤害,包括所请求的材料为AI生成时也是如此。在发出警告的同时,我们将删除被标记的对话,并暂停对该ChatGPT的访问24小时,同时保持专家支持可用,以帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终导致账号关闭或向有关部门报告。

我们是在研究并制定儿童性虐待预防项目的组织和学术顾问的意见基础上开发这一方法的,包括Protect Children、Lucy Faithfull Foundation、肯特大学法医心理学研究员兼荣誉讲师Caoilte Ó Ciardha博士,以及塔斯马尼亚大学的Joel Scanlan,后者独立评估了威慑信息的试验。

保护儿童在线安全并不止于检测。我们发布了CSAM指南,为开发者提供预防虐待、检测有害内容并采取行动的实用步骤。该指南在Tech Coalition、Thorn、NCMEC和Internet Watch Foundation的意见基础上制定,面向处于安全系统建设不同阶段的组织。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →