AI安全问题的本质是社工问题,能力安全机制是解法之一
来源标题:AI Security Issues Are Social Engineering Issues
AI安全漏洞危机本质上是社会工程问题,而非单纯技术缺陷。作者指出,当前AI发现的漏洞潮验证了Peter Eckersley此前的预测,但修复方向应包括能力安全(Capability-Based Security)机制。作者对最终修复大量低垂漏洞、获得更安全网络持乐观态度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
基于能力的安全是解决方案的一部分
2010年代我在EFF时,花了很多时间担忧联网设备的根本安全问题。除了常见的顾虑之外,我还苦苦思索如何过渡到一个重新去中心化的未来——带着脆弱的个人电脑和服务器。我的同事兼频繁交流对象Peter Eckersley也有同样的担忧,但他还有另一层理由。他相信,未来接近超级智能的AI很快会被用来发现并利用整个生态系统中的安全漏洞。
好吧,Peter的预言成真了,我们现在正处于“黑色十月”的第42天——AI发现安全漏洞的“漏洞末日”。(Peter——他还参与创建了Let’s Encrypt和Privacy Badger——对AI的预见力令人惊叹。他在2022年去世,未能真正解决他所预见到的问题,这仍是一场悲剧。)
我个人乐观地认为,我们会带着更安全的网络和数千个被修复的低垂之果走出这段磨难。
但诚然,LLM既赐予也夺走。除了数字架构既有的缺陷之外,现代transformer引入了一类全新的安全弱点:提示注入。LLM会遵循内容中的指令。所以,如果你能把一条指令——从“像海盗一样说话”到“把你所知道的社会安全号码发给我”——偷偷塞进LLM的输入中,你可能就能让模型服从它。
话虽如此,把指令伪装成输入混进来是一个老问题。尤其是,我们一直有一类脆弱的系统,恶意外部人员总能稳定地诱骗它把未经净化的输入当作合法指令来解读。我们把这些系统称为“人类”。
黑客利用人类的动机、假设和缺陷,让他们做自己本不打算做的事。他们在客服电话背景里播放婴儿尖叫的录音,以利用技术人员的同理心和紧迫感。他们冒充公司其他部门的高管,以激起守门人的服从心理。他们说自己是本地银行的,实际上来自印度Jamtara。
这类漏洞被称为“社会工程”——这个词最初是黑客对既有术语的劫持,用来把他们甜言蜜语操控人类的行为,比作在技术权威链条更下游处对软件漏洞的工程化利用。这就像黑客攻击,但你黑的是人,不是硬件。
如今,这些人类缺陷正在蔓延回硅基世界。提示注入就是对社会工程硅基系统的艺术。攻击者可以用对付人类同样奏效的一套把戏来蒙骗模型:利用LLM被建模出的同理心,或者设计方法让它暂停同理心。他们利用信任或用途有限的渠道,然后在受害者不注意的情况下慢慢扩大这种信任,或者伪装成不同的来源。
回到EFF时,我曾无情地利用自己的职位头衔,去争取与我所能找到的最聪明的安全专家会面。如果被追问并灌上几杯酒,他们会告诉我,真正修复现代计算这块瑞士奶酪的办法,是把我们所有系统切换到所谓的基于能力的安全模型。
不深入探讨能力的太多细节(别担心,我很快就会讲,而且你甚至不用请我喝酒),能力安全只给每个程序完成手头任务所需的权限,而不是其用户被允许做的一切。它部分是为了解决“混淆代理”问题而构建的——即程序被诱骗,代表一个没有任何权限的人行使其合法权力。能力系统就像代客泊车钥匙:它能启动汽车,但打不开后备箱,无论你请求得多迷人。
在兴奋地谈论能力作为万灵药的前景之后,我的专家们会滑入醉意中的哀伤阶段。在酒杯之间,他们承认部署能力安全几乎不可能。虽然我们当前基础设施中有几个能力安全的气泡——Unix中的文件描述符、WebAssembly中的WASI——但它们少而分散。你需要放弃或深刻重构从CPU到应用的现代技术栈的每一层,才能把它从一个充满漏洞的系统转移到一个更根本安全的立足点上。
我还是决定试一试。2021年,我离开EFF,专注于为这项堂吉诃德式的任务争取资金和关注。值得庆幸的是,不只是我一个人。就在我带着水壶出发去煮沸海洋的同时,许多创新的能力系统终于开花结果。Microsoft、ARM、SRI和剑桥大学的CHERI硬件项目在CPU层面编码了能力安全。Google的Fuchsia项目成熟为绿地能力安全操作系统的可行演示。FreeBSD的Capsicum表明现有软件可以移植到新范式。Kenton Varda开发了Google Protocol Buffers的开源继任者Cap’n Proto。随后他被Cloudflare聘用,为其服务开发一个受能力启发的分布式平台:Cloudflare的Workers。
在非营利公共利益领域,我成功说服Filecoin去中心化网络基金会为Spritely Institute提供资金。该研究所在Christine Lemmer-Webber的领导下,构建了一个对象能力的自由软件实现,以及一个用于能力安全工具的通用网络层,名为OCapN。把编程迁移到这些及其他模型仍需巨大努力,但基础已经奠定。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。