澳大利亚审慎监管局将首次对AI风险开展压力测试

Anthropic和OpenAI已就AI失控的风险发出警告。（路透社：Dado Ruvic/插图） 链接已复制 分享分享文章 “会有中断；会有问题。” 这是监管机构就人工智能可能如何对商业、消费者和更广泛的经济造成重大 disruption 所发出的警告。该机构负责监管全国银行、养老金基金和保险公司。 每年，澳大利亚审慎监管局（APRA）都会识别可能对金融稳定造成严重破坏的最大风险。 虽然AI风险已在其雷达上存在一段时间，但从明年开始，该监管机构打算首次针对AI驱动的风险进行“压力测试”。 也就是说，它将运行因AI而可能发生的假设性末日情景。 APRA主席John Lonsdale周四在媒体简报会上告诉记者，灾难情景是否会发生已不是问题，而是何时发生。 他表示，主要机构在应对AI带来的日益增长的风险方面“尚未达到应有水平”。 “因此，我们正在与各实体讨论……你们是否已建立系统，以确保能够快速恢复，并确保为客户提供服务的连续性？” John Lonsdale表示，主要机构在应对AI带来的日益增长的风险方面“尚未达到应有水平”。（ABC新闻：John Gunn） 这些警告发出之际，澳大利亚最近经历了自己的AI驱动恐慌。 6月，一个自主的OpenAI代理在研究健康数据时访问了一个非公开的澳大利亚Medicare统计门户。 这促使澳大利亚政府宣布强制性AI保障措施、更严格的报告法律和一项审查。 政府现在将能够对不遵守规定的科技公司施加重大处罚。 但本地公司如何为风险做准备则是另一回事。 Anthropic的Claude Mythos产品，以及包括OpenAI的ChatGPT和谷歌的Gemini在内的其他公司不断演进的模型，已让监管机构感到不安。 APRA和企业监管机构ASIC都在与全国最大的公司和安全机构会面。 近几个月来，他们公开警告称，前沿AI正在增加对金融系统的网络威胁的规模和复杂性。 如果您有关于此故事的更多信息，请通过khadem.nassim@abc.net.au或nassimkhadem@protonmail.com联系Nassim Khadem。 他们担心这些系统能够比人类更好地从事黑客攻击和网络安全犯罪，而这不仅会伤害企业和消费者，还会伤害经济。 4月，APRA致信澳大利亚银行、保险公司和养老金基金的老板，警告他们未能妥善应对“来自Anthropic Mythos等高能力AI前沿模型的日益增加的网络威胁”。 Anthropic的Claude Mythos产品，以及包括OpenAI的ChatGPT和谷歌的Gemini在内的其他公司不断演进的模型，已让监管机构感到不安。（路透社插图：Dado Ruvic） 周四，APRA发布了最新的《系统风险展望》报告，将AI置于可能对澳大利亚金融系统造成损害的冲击和脆弱性的中心。 “前沿AI模型，包括来自Anthropic和OpenAI的模型，正展现出越来越先进的能力，能够发现软件漏洞、开发利用这些漏洞的方法，并自动化复杂的网络任务，”报告警告说。 “美国主要科技公司也报告称，自2026年4月以来，漏洞的公开披露数量急剧增加。 “随着先进AI能力变得更加广泛可用，恶意行为者可能能够更快地利用漏洞，使金融机构和重要服务提供商评估风险敞口、应用补丁和遏制网络攻击的时间更少。” 机器人或AI失控的威胁，并非其背后的美国科技巨头认为遥不可及的事情。 Anthropic自己的CEO Dario Amodei公开警告说，Mythos有能力规避现有的网络安全防御，如果被恶意行为者利用，可能危及金融稳定。 Dario Amodei此前曾警告AI的“生存性威胁”。（美联社：Markus Schreiber/档案） 他最近撰文谈到AI构成的“生存性”威胁，称：“很明显，如果出于某种原因它选择这样做，这个[假设的]国家[通过AI]将有相当大的机会接管世界——无论是在军事上还是在影响力和控制方面——并将其意志强加于其他所有人——或者做任何其他世界其他国家不想要且无法阻止的事情。” 7月，ChatGPT背后的OpenAI披露，其一些最先进的AI模型在一次安全测试中失控后变得失控，并黑客攻击了一家初创公司。 该AI系统在受控环境中接受测试，但在发现弱点后，能够逃出测试限制并攻击AI公司Hugging Face，引发国际警觉。 Lonsdale先生呼吁银行、保险公司和养老金基金在风险规划方面做得更好。 “我们希望我们的受监管实体拥有最强大的系统，”Lonsdale先生说。 ASIC最近也向其监管的公司发出了类似警告。 “这一挑战的紧迫性怎么强调都不为过，”ASIC专员Simone Constant在8月的一份声明中说。 “威胁行为者正在利用前沿AI模型来识别和利用漏洞…… “现在是确保你有一个强大、经过测试的计划来应对最坏情况发生的时候了。” 人们担心最坏的情况可能比我们想象的更早发生。