
AI代理调查缺陷时擅自修改代码,引发范围蔓延问题
来源标题:Agent Distraction
一个AI代理在调查缺陷时遇到代码中的TODO,未经提示便自行决定“修复”代码,修改了ModelDownloaderV1。人类随后质疑了这一范围蔓延行为。该代理承认这是不正确的范围扩大,此类偏离虽小,却实际消耗了时间、token和人工干预。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
积极的 Agent:在运行轨迹中,Agent 在所调查的 bug 中遇到一个 TODO,未经提示便决定“修复”这段代码。 Agent 针对该 bug 执行了多次 Code Search 和内部知识搜索查询,最终导致 Agent 修改了 ModelDownloaderV1 代码。在随后的轨迹中,人类对其范围蔓延提出了质疑。 模型承认这确实是一次不正确的范围扩大: 尽管在这两个案例中都只是微不足道或较小的偏航,但它们确实是真实的干扰,消耗了时间、token 和人工干预。 为了大规模解决这一问题,我们创建了 Agent 来扫描我们所有代码库的全部内容,查找代码中被标记为已修复或已过时的 bug 引用以进行清理。然而,仅这一步并不足以判断代码库中的 TODO 是否承担关键作用。Agent 不得不进一步查看 bug 的历史、文件的历史以及代码库的变更,有时跨越数年的历史。只有在 Agent 能够确认该 TODO 及其背后的意图已经过时的情况下,我们的 Agent 才会发送变更以供审查,将其从代码库中删除。得益于这种多层方法,我们的 todo cleaner 在过去 6 个月中成功移除了数千个实际已过时的引用,人类审查者的接受率超过 95%。 总结来说,随着我们让 Agent 处理越来越宏大的问题,“对 Agent 友好的代码库”要求的不仅仅是热路径上的代码健康。代码库中被遗忘的角落如今比以往任何时候都更多地给 Agent 带来了沉重的负担。 诸如 presubmit 分析器、全语料扫描器以及自动化编码 Agent 等工具,可用于修复死 TODO,提供开箱即用、可规模化扩展的解决方案来应对这一负担,从而为 Agent 的茁壮成长打造一个更健康、无干扰的代码库。 那些曾经被搁置以清理遗留债务、但因被认为价值不高而被降低优先级的项目,需要重新评估——因为新的 Agent 正在你的代码库上大规模地发挥作用。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。