
Brex测试发现:费用备注中的模型拒绝字符串可致审计Agent罢工
来源标题:What if 90% of your prompt is content you can't control?
Brex在测试其费用审计Agent时发现,员工在费用备注中写入一句模型拒绝字符串,Agent便完全拒绝审计该笔费用。该失败表明问题不只是文档读取能力,更在于如何决定不同来源的上下文对决策的影响权重。该Agent需综合收据、备忘录、日历、政策、SOP等十余类信息做出审计判断。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在测试过程中,我们的一位安全工程师把一段能让模型拒绝执行的特殊字符串放进了报销单备注里,结果 agent 直接拒绝审核这笔报销。这次失败很有价值,因为它让我们看到,问题不只是 agent 能不能读懂文档,而是如何决定不同种类的上下文应该以什么方式影响决策。
在 Brex,我们一直在构建 agent,用来审核员工报销、收集相关证据、对照政策和审计标准操作流程(SOP)进行比较,并决定下一步该怎么处理。政策告诉系统什么被允许,SOP 告诉它在发现异常时如何处理个案。
为了做出决策,agent 必须对收据、备注、日历事件、网络搜索、政策文档、SOP、历史案例、商户和用户画像进行推理。难点在于决定每一个来源应该以什么方式影响最终结果。
构建审计 agent 让我们认识到,真正困难的部分在于决策是如何组织的。系统需要知道什么算作证据、什么应该引导结果、什么需要额外处理,以及什么时候一个判断已经成熟、可以变成真实的结果。
挑战在于让这些差异在系统内部真正生效,这样模型才会以正确的权重对待每个来源,而不是把所有东西都当成更多上下文。我们不再把所有原始内容一股脑塞进同一个 prompt。政策和 SOP 保留为参考资料。报销和案例记录成为案件的事实状态。备注、收据和网络搜索都必须先经过处理,才被允许影响主推理循环。
备注可以解释一笔报销,但它不是证据。一张写着“CEO 已批准”的便条,如果系统无法真正验证这个说法,本身并没有太大帮助。这迫使我们把备注同时视为业务上下文和攻击面。收据也需要不同的处理方式。它们是高价值证据,但同时也嘈杂且容易被操纵,所以关键在于提取决策所需的事实,而不是把整张收据的解释权交给系统其余部分。
网络搜索也需要强有力的控制。它对于验证外部事实很有用,但也会开辟一条通过 URL 参数泄露隐私信息的路径。我们围绕什么可以发送到搜索增加了防御措施:过滤可疑的长 URL、剥离有风险的查询参数、把敏感的案件细节排除在请求之外。这些输入都很有价值,但不能直接原样丢进主推理循环。
一旦我们知道这些输入不能都以同样的方式进入系统,下一个问题就是范围。任何一个 agent 一次应该获得多少上下文和多少工具?
我们早期的审计 agent 版本范围更宽:一次性交给 agent 更多工具和更多上下文。表面上看,这似乎更好。但当我们查看结果时,额外的范围并没有提升表现。它主要是让 agent 更难控制、更难以预测。
我们把范围收窄到更贴近任务本身,从而获得了更好的结果。一个有用的练习是把自己放在 agent 的位置上,问对这个工作来说理想的输入和工具集合是什么,仅此而已。在此基础上,我们观察执行过程,不断改进输入、输出和工具描述,直到行为变得更容易引导。
一旦 agent 变得更容易引导,下一个问题就是如何评估它的答案。我们的审计 agent 可以采取带有财务后果的动作,比如锁定卡片、拒绝报销或更改支出限额。这意味着仅仅信任 LLM 是不够的。
我们把模型输出视为待审核的候选,而不是最终结果。在实践中,这意味着保存一份草稿决策,让它经过确定性检查和审核 agent 之后,才能成为真实的案件结果。
这种分离让我们对系统有了更好的控制。我们有了一个地方来运行确定性检查、记录分歧、安全重试、检查引用,并在决策变成持久状态之前理解它为什么被做出。
这也让系统更容易检查和度量。我们可以看到草稿决策、它背后的证据,以及它经过的审核路径。由于我们在输出被改进的过程中保留了每次迭代的快照,我们还可以看到答案随时间如何变化,并利用这段历史进行持续改进。这使得追踪常见失败模式、查看决策在哪些地方被退回,以及衡量主 agent 和审核者随时间达成一致的比例成为可能。
agent 在第一轮有相当大的自由度。它可以调查这笔报销、保存一份草稿建议、在收到反馈后修改草稿、把已批准的建议转成真实的审计案例,或者得出结论认为不需要立案。
然后工作流会查看这次运行是如何结束的,并判断任务是否真正完成。如果 agent 创建了真实案例,工作流可以继续下一步。如果 agent 得出了已批准的“无需立案”结论,工作流可以干净地结束。如果 agent 停在一个仍需修改的草稿上、忘记把已批准的建议转成真实案例,或者结束时根本没有记录任何最终结果,那么这次运行仍然是不完整的。
这最终成了系统中最有用的部分之一。它意味着工作流可以捕获不完整的运行、在出错时重试,并防止流程的其余部分在一个半成品决策上继续推进。它也让我们更清楚地了解每次执行中发生了什么:agent 是没发现问题、创建了真实案例,还是干脆没有完成任务。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。