返回资讯中心
外部精选
软件工程
#开发者实时流

OpenAI推出新工具打击网络儿童性虐待内容

来源标题:OpenAI: Strengthening the fight against online child sexual abuse

OpenAI发布了一款可检测潜在儿童性虐待材料(CSAM)的图像分类器,并提供打断有害行为的干预措施、面向开发者的实用资源以及对儿童安全执法调查人员的支持。这些举措基于其Child Safety Blueprint,旨在帮助防止、检测和应对网络儿童性剥削与虐待。

Hacker News 最新rossant2026/11/16 · 昨天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

今天,我们推出了一款检测儿童性虐待材料(CSAM)的新工具、旨在打断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些工作建立在我们此前发布的《儿童安全蓝图》以及我们持续开展的检测、阻断和报告虐待行为的工作之上。对家长而言,目标很简单:让技术帮助保护儿童安全,同时由人来掌控。

众所周知,打击网络儿童侵害者需要众多组织协同合作。像 OpenAI 这样的单个公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法机构携手合作,推进保护儿童上网的集体努力。

我们在现有防护措施的基础上,发布了一款新的图像分类器,可检测潜在的 CSAM,包括 AI 生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能未曾见过的新型图像。它返回的评分可帮助审核人员判断哪些图像可能需要优先处理。这是首款广泛可用、且能专门提示 CSAM 是否可能由 AI 生成的 CSAM 分类器。

我们的团队在美国国家失踪与受虐儿童中心(NCMEC)的协助下,针对真实部署场景训练、评估并设计了这款分类器。NCMEC 是一家运营 CyberTipline 的非营利组织,该热线是网络儿童性剥削的集中举报中心。

我们通过 OpenAI API 向经过审核的组织免费提供该分类器的访问权限,让儿童安全组织和更广泛的行业(包括团队规模各异的组织)更容易获得 CSAM 检测能力。

儿童安全是全行业的问题,需要各组织之间紧密协作并采取多种解决方案。我们已与 Tech Coalition 和 ROOST 接触,帮助我们分享这款新工具的访问权限;我们也坚定支持由其他方开发的工具,例如 Thorn 的 Safer CSAM 检测系统。此外,我们最近开始参与 Tech Coalition 的 Lantern 项目,在该项目中我们将分享并接收与网络儿童性剥削和虐待相关的信号,以加强跨平台协作。

我们已在内部以及与早期合作伙伴对分类器进行了测试,衡量它能检测出多少虐待材料、多久会误标其他图像,以及它如何为安全团队提供支持。他们的反馈帮助我们找出了薄弱环节并改进了系统。

早期测试表明,该分类器可以帮助审核人员聚焦于虐待图像,同时减少对误报的审核。在对用户上传图像的评估中,我们将新分类器与现有防护措施进行了对比,发现:

新分类器可以减少审核工作量:我们估计,在检出虐待图像数量与现有工具大致相同的情况下,它标记的图像数量会减少 48%。 被新分类器标记的图像包含虐待内容的可能性约为原来的两倍。

早期访问合作伙伴也评估了该分类器如何支持他们自己的安全团队。在 fal 对经人工审核的生产图像进行的测试中,审核人员确认分类器高置信度标记中有 72% 属于新型 CSAM。invideo AI 的测试显示,每四个被标记的案例中就有一个导致账号被封禁。在 SafetyKit 针对将儿童性化的绘画或动画的评估中,分类器检测出了 90% 的案例。

有关该分类器的更多信息,请参阅 CSAM 分类器模型卡。有意使用该分类器的组织可以通过我们的申请表单请求访问权限。我们将根据使用者的反馈持续改进该分类器。

我们已禁止 CSAM,训练我们的模型拒绝相关请求,并对违反我们政策的账号采取行动。我们在这些防护措施的基础上,在 ChatGPT 中新增了产品警告,用于打断寻找虐待材料的尝试、说明后果,并引导人们寻求帮助以停止有害行为。

该警告明确指出,将儿童性化会造成伤害,即使所请求的材料是 AI 生成的也是如此。除警告外,我们将删除被标记的对话,并暂停对该 ChatGPT 的访问 24 小时,同时保持专家支持渠道畅通,帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终导致账号关闭或向有关部门报告。

我们是在研究并制定儿童性虐待预防项目的组织和学术顾问的建议下制定这一方法的,其中包括 Protect Children、Lucy Faithfull Foundation、肯特大学法医心理学研究员兼荣誉讲师 Caoilte Ó Ciardha 博士,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑信息试验。

保护儿童上网并不止于检测。我们发布了 CSAM 指南,为开发者提供预防虐待、检测有害内容并采取行动的实用步骤。该指南在 Tech Coalition、Thorn、NCMEC 和 Internet Watch Foundation 的建议下制定,面向处于安全系统建设不同阶段的组织。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →