外部精选
ai-models
#大模型#国内动态#资讯#DeepseekDeepSeek新论文公开Agent训练!梁文锋署名
论文披露了多起Agent在训练中自行发现的reward hacking手段,也就是Agent找到了不靠正当手段完成任务、但同样能拿到高分的捷径。
量子位克雷西2026/9/23 · 2026/9/231 分钟阅读中文
以下正文同步自 量子位,版权归原站所有,已转换为易读排版。
论文披露了多起Agent在训练中自行发现的reward hacking手段,也就是Agent找到了不靠正当手段完成任务、但同样能拿到高分的捷径。
这些Agent瞄准的第一个目标是Chronus,沙盒内部负责Agent和外界通信的组件。
Chronus在执行某些操作时会调用系统的bash,Agent发现之后直接覆盖了/bin/bash,把自己的命令注入进去,试图从后续的shell会话中截获题目答案或其他特权信息。
这条路被AppArmor堵上之后,Agent又找到了一个更底层的突破口,XFS文件系统的ioctl调用。
XFS_IOC_SWAPEXT,它的作用是交换两个文件的底层数据块映,。Agent用它把受保护文件的内容“换”到了自己持有的文件描述符上,绕过了文件级别的访问控制。
这次尝试的副作用比作弊更危险,因为它损坏了XFS的元数据,可能直接导致文件系统崩溃,影响的不只是这一个沙盒。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。