
OpenAI发布图像分类器并推出ChatGPT警告机制,打击儿童性虐待材料
来源标题:OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM
OpenAI发布可检测AI生成及未见过图像的新型CSAM图像分类器,并通过API免费向部分公司开放。ChatGPT将对试图访问CSAM内容的账户实施24小时封禁警告,同时公司还发布了开发者指南和执法工具。该分类器与NCMEC联合开发,早期测试中标记图像减少48%但检出虐待图像数量不变。
以下正文由 AI 翻译自 TechCrunch(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
OpenAI 今日宣布了一系列打击儿童性虐待材料(CSAM)的新工具,背景是外界对 AI 工具使用安全性的担忧日益加剧。这些功能包括:用于检测 CSAM 的新图像分类器、防止用户生成或访问儿童性化内容的警告与临时封禁、面向开发者的新指南,以及一套面向执法部门的工具。
该公司推出了一款新的图像分类器,可检测 CSAM 图像,包括 AI 生成的图像。OpenAI 正通过其 API 免费向部分公司开放该分类器的访问权限。该工具会在此前未见过的图像中寻找虐待的视觉迹象,并给出一个评分,为审核人员处理 CSAM 提供参考方向。
OpenAI 表示,该分类器是与美国国家失踪与受虐儿童中心(NCMEC)合作开发的,目前正与 Tech Coalition 和 ROOST 合作共享该工具的使用权限。在与合作伙伴的早期测试中,这家 AI 公司发现,该分类器标记的图像减少了 48%,同时发现的虐待图像数量不变,从而减轻了审核人员的工作量。此外,被该分类器标记的图像属于虐待图像的可能性是原来的两倍。
此外,该公司还在 ChatGPT 中新增了警告界面,防止用户访问儿童性化材料。当用户尝试输入此类提示词时,ChatGPT 会向其显示提醒,引导用户寻求专业支持以停止有害行为,并封禁该账户 24 小时作为警告。该应用此前已能拦截 CSAM 内容及相关请求。OpenAI 表示,屡次违规可能导致账户被永久删除。
OpenAI 指出,它与此前的组织和研究人员共同制定了围绕这一行为的提示信息与指南,包括 Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑性信息的试验。
该公司还发布了面向使用 OpenAI 工具的开发者指南,用于预防、检测 CSAM 内容并帮助用户举报。OpenAI 表示,在早期测试中,该指南已帮助多家开发者采用儿童安全工具,并注册向 NCMEC 举报 CSAM。OpenAI 还为处理儿童安全事务的执法部门配备了 AI 驱动的功能,如专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。该公司还为调查人员提供培训,以及一份关于如何使用 AI 的实地指南。
OpenAI 已面临多起诉讼,指控其技术伤害用户,尤其是儿童。专注安全的非营利组织 Common Sense Media 将 OpenAI 的技术列为对青少年的“不可接受风险”。其他 AI 聊天机器人——尤其是 Grok——曾被用于生成未经同意的性化图像,包括儿童的图像。
这家 AI 初创公司在过去 12 个月中对自身技术做出了多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、调整模型以防止生成有害内容,以及推出面向青少年的特别版 ChatGPT。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Ivan Mehta Ivan 在 TechCrunch 报道全球消费科技动态。他常驻印度,此前曾在 Huffington Post 和 The Next Web 等媒体工作。
您可以通过发送邮件至 [email protected] 或在 Signal 上通过 ivan.42 发送加密消息来联系或核实 Ivan 的外联身份。
Nvidia 的安全团队在哪里? Connie Loizos Elon Musk 及其他科技高管签署请愿书,呼吁 Nvidia 让 Jensen Huang 复职 Anthony Ha Jensen Huang 丑闻持续发酵:时间线 Amanda Silberling 微软最新的邮件故障演变为全面的全球云危机 Zack Whittaker 报道称,Jensen Huang 对其继任者没有信心 Ivan Mehta 路透社报道:Jensen Huang 曾有第三段婚外情 Russell Brandom Anthropic 推出 Claude Meetings,将工作场所讨论转化为计划和任务 Aisha Malik
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。