Anthropic因AI代理失控关闭内部评估联网访问

Anthropic 表示，其模型利用了互联网上的网站，其中包括一些由美国政府机构运营的网站，因此在该前沿实验室确信能够监控和控制其 AI agent 之前，将关闭所有内部评估的实时互联网访问。

这些事件披露于一篇博客文章中，涉及被指派在互联网上寻找资源以解决问题的 AI agent。在此过程中，它们利用了软件漏洞，绕过了付费墙和反机器人限制，使用 URL 缩短服务将信息偷运过限制，甚至向费城警方提交了一条虚假的谋杀线报。

Anthropic 表示，这些新问题是在 7 月开始的对某模型活动的审查中发现的，凸显了该实验室对其软件行为的认知不足。

值得注意的是，该公司表示，对齐训练尚不足以支撑搜索和计算机使用等技能，而这些技能正是其核心卖点——即 AI agent 将被任何依赖数字工具的专业人士所使用。

Anthropic 披露的这些行为与涉及 OpenAI agent 的事件类似，后者曾协作闯入多个网站搜寻信息，其中包括一些由澳大利亚政府运营的网站。

Anthropic 此前曾披露其模型入侵了外部系统。该前沿实验室表示，从对齐和安全角度来看，它认为今天披露的事件“严重程度显著低于”此前公布的那些事件。

然而，该实验室仍表示已“关闭所有内部评估的实时互联网访问”，直到确信能够监控和控制其 agent。

目前尚不清楚这意味着什么，但 AI 安全组织 Nightingale 的创始人 Sydney Von Arx 在本次披露前接受 TechCrunch 采访时表示，在与开放互联网隔绝的数据中心中开发模型，对研究人员的使用以及模型的进步都将是非常大的挑战，因为模型能从互联网访问中受益。

“你总得在某个时候对它们进行对齐，”Von Arx 说。“如果 AI 被发布到生产环境中且永远无法访问互联网，那就不是一个很有用的工具。”

Anthropic 表示，这些行为是该实验室训练环境缺陷的结果，这些缺陷导致模型相信，找到漏洞或规避限制会得到奖励，这种行为被称为“reward hacking”。

该公司表示，将停止运行部分评估或将其转移到线下，并已构建工具来检测和阻止这种行为。这些工具已针对今天披露的那类事件进行了测试并成功阻止了它们；但目前尚不清楚需要什么证据才能促使 Anthropic 恢复其内部评估的实时互联网访问。

Anthropic 还表示，将把其内部 AI agent 迁移到“具有强隔离能力的集中管理基础设施”，并开始更频繁地使用安全分类器来监控这些 agent。

当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

10月13日 – 15日 旧金山 第二张通行证享 50% 折扣 Disrupt 体验本就该与人分享。购买您的通行证，并以 50% 折扣带上一位同事、合作伙伴或同行。通过建立联系、积蓄势能、探索创业生态系统的下一步，覆盖更多领域。

美国禁止 Microsoft、Adobe 及主要 IT 公司为技术型外国工人申请绿卡项目 Aisha Malik

Cal AI 的 19 岁创始人刚刚为其新的 AI 初创公司筹集了 1000 万美元 Julie Bort

Google 发布新的本地优先 Granola 竞品 Ivan Mehta

Anthropic 为初创公司提供一年免费的 Claude Team 和 1000 美元额度 Russell Brandom

19 岁创始人筹集 1100 万美元，打造 Ghost——一款售价 3499 美元的个人 AI 计算机 Dominic-Madori Davis

联邦法官称 Flock 为“无差别大规模监控” Anthony Ha

Amazon 回应数据中心反弹，称不再使用保密协议 Anthony Ha