
Koala 为每个 AI agent 分配独立 Linux 虚拟机,作者从内部攻击测试其边界
来源标题:Before I Trust an Agent, I Try to Break Its Box
Koala 为每个 AI agent 分配一台独立 Linux 虚拟机,网络检查和凭据保留在宿主机上,以此隔离不可信代码。作者在 Apple silicon Mac 和 x86-64 Linux 上对运行中的虚拟机发起内部攻击,并在每次测试后检查宿主机和相邻控制虚拟机。文章说明了哪些防护被突破、哪些尚未测试。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在我信任一个 agent 之前,我会先试着攻破它的盒子。
Koala 给每个 agent 分配一个独立的房间。但房间在没有被恶意程序试过门之前,只是一个声明。下面是我如何从内部测试这条边界、哪些地方被攻破了,以及还有哪些我尚未测试。
AI agent 不是一个可预测的应用。它会读取网页、消息和文件,并且可能对其中任何一处藏匿的指令采取行动。更安全的假设是:不可信的东西迟早会在 agent 运行的任何地方执行。
Koala 是我对这个问题的回答:每个 agent 一个 Linux VM,运行在 Mac 或 Linux 机器上,网络检查和凭据都保留在宿主机上。这是一个设计上的声明。声明是廉价的。
所以我从内部攻击它。如果 VM 里的代码是恶意的,它能触及什么?出问题时又会坏在哪里?下面是我如何测试、哪些地方被攻破了,以及还有哪些我尚未测试。
每个测试都跑在真实的虚拟机上,覆盖 Koala 支持的两个平台:Apple silicon Mac,通过 Apple 的 Virtualization framework;以及 x86-64 Linux,通过 KVM 和 Cloud Hypervisor。每次运行后,宿主机和一台相邻的对照 VM 都会被检查,而不只是被攻击的那台 VM。
下面会涉及 Koala 的几个部分。在宿主机上,一个 manager 运行所有 VM,每个 VM 通过各自的 worker 进程运行。一个网络 helper 位于每台 VM 与网络之间,一个 broker 持有 API key,使 VM 永远看不到它们。精简 VM 运行单个容器镜像;完整 VM 运行带 Docker 的 Linux 发行版。
三个数字定下了规模:超过 40 个 fuzz 目标,每个至少生成 100,000 个输入,每个平台约 1,400 次崩溃检查。数字本身不如它们指向哪里重要。每一个都瞄准边界。
每次恶意 guest 运行都把三样东西放在一起。
攻击者是一台以 root 运行的 VM,即 VM 内权限最高的用户。这是 agent 的最坏情况:被完全接管。问题是它能否逃出去。
旁观者是一台在旁边健康运行的 VM,整个运行期间每半秒应答一次检查。如果攻击拖慢或破坏了邻居,测试就失败,即使没有任何东西逃逸。
见证者在宿主机上,攻击者触及不到。监听器记录每一个到达的包。文件在前后做哈希。假密钥(“canaries”)被种在宿主机上,所以任何泄漏都有名有姓。
永远不要相信攻击者。用宿主机看到的东西来评判每一个结果。
这是沙箱测试最常出错的地方。VM 里的代码可以打印“access denied”,同时却已经穿了过去。读取 guest 自己报告的测试,测的是 guest 的诚实,而不是边界。
这些攻击是用 koala cp 复制进去的小程序,针对真实、已安装、已签名的 Koala 运行,而不是特殊的测试构建。
symlink 那一行是我一直在想的。它不攻击 Koala 的代码。它攻击 Koala 的乐于助人:等宿主机把手伸进 guest,然后递给他一个下了毒的东西。
边界很少在 guest 向外伸手的地方失守。它们失守在宿主机向内伸手的地方。
接下来,在攻击者同时洪泛所有通道时,对 Koala 本身施压。洪泛期间,测试取消一条命令、停止一台 VM、杀掉网络 helper,并用 SIGKILL 直接杀掉 manager,然后重启它。一个采样器每秒记录内存、打开的文件和磁盘使用。
资源保持在界限内。内存峰值 325 MiB,打开的文件从 30 降到 18,日志保持在配额内。当它的网络 helper 死掉时,攻击者 VM 被标记为 degraded,而不是悄悄继续。旁观者一直在应答:整个运行期间 97% 的检查成功。不是 100%,这个差距也值得知道。
这一轮还发现了两个真实问题。杀掉 manager 会让每台 VM 的网络中断,直到 VM 重启;还有一台 VM 的进程被遗留为孤儿。两者都不是安全漏洞,且都安全失败。两者均已修复:重启的 manager 现在会重建每台运行中 VM 的网络,同时 VM 继续运行;并且它会回收无法再使用的 worker。
一次攻击运行持续几分钟。agent 的 VM 会运行数天。所以 Koala 也会一次运行八小时,沿途注入故障。
在 Mac 上:32 台精简 VM 和 8 台完整 VM,然后八小时的服务、作业和环境。全部 9,884 次操作成功。Mac 按计划睡眠和唤醒,运行挺过了 manager 被杀、网络 helper 和某台 VM 的 worker 丢失,以及一次 runtime 更新和回滚。
在 Linux 上,使用 KVM,运行通过了除四项之外的所有检查,四项都来自同一台 VM,它在重启后不再接受命令。那一项花了更长时间定位:Koala 读取 VM 事件日志的方式存在竞态,后续检查用约 300 条快速命令复现了它。它在 rc.3 中修复,修复后的构建运行了 2,000 条命令未再出现。自最后一次修复以来,两次八小时运行都尚未重复。
长时间运行还发现了短测试永远跑不到时长的 bug。随着 Koala 历史增长,命令变慢:32 台 VM 和 67,000 次记录操作时,一条命令要跑 6.1 秒。现在只需 0.35 秒。在一台 VM 中约 3,400 条命令后,之后每条命令都挂起,因为该 VM 的事件日志满了。而一台合盖睡眠的 Mac 可能错过唤醒,留下不再接受命令的 VM。所有这些都在 rc.3 中修复,且没有一个是安全 bug。
Linux 套件问了一个更难的问题。如果攻击者终究还是逃了出去,比如通过 hypervisor 漏洞,会怎样?
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。