文章指出并非所有Agent都需要休眠机制
来源标题:Not Every Agent Hibernates
一篇分析文章指出,休眠并非适用于所有Agent的通用方案。在四种常见Agent模式中,只有两种会进入挂起状态,另外两种要么任务完成后被移除,要么持续运行直到结束。文章从会话生命周期角度分析了哪些Agent需要沙箱、沙箱的启动与恢复如何影响模型调用间的等待。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
休眠常被说成是大规模运行 agent 的答案:挂起空闲的 agent,保留其状态,有任务时再唤醒。这听起来像是整个集群层面的能力。事实并非如此。四种常见的 agent 模式中,只有两种会挂起。另外两种要么在任务完成后被移除,要么一直运行到任务结束。
上一篇文章止步于平台层:沙箱启动或恢复的速度决定了模型调用之间的等待,而这是平台团队控制的层面。在调整这一速度之前,必须先明确沙箱何时启动、挂起和恢复,以及 agent 是否拥有沙箱。
本系列之前的文章从内部跟踪了一次 agent 运行:agent 是什么、何时值得构建、哪些组件运行 agent 循环、什么到达推理端点,以及为什么 agent 在每次调用时都重发其上下文。本文则拉远到会话层面:哪些 agent 需要沙箱,沙箱的启动、挂起和恢复在会话生命周期中处于什么位置,以及哪些等待让平台有机会挂起一个 agent。
agent 循环在《Anatomy of an Agentic Workload》中已有介绍:触发器启动 harness,harness 调用模型端点,执行模型返回的工具调用,将结果加入上下文,如此重复,直到模型给出最终答案。运行代码的工具在沙箱中执行。并非每个 agent 都需要沙箱:工具只调用远程 API 的 agent(例如邮件或日历 agent)无需沙箱即可运行,其 harness 直接将工具调用发送给这些 API。那篇文章跟踪的是一次运行。agent 很少在一次运行后就停止。本文补充描述跨多次运行所需的概念:
harness 和沙箱运行在本文所称的 agent 集群上。模型端点单独运行,位于模型集群或模型提供商处,有其自己的生命周期。
agent 的范围从有界请求到长时间任务再到周期性职责。它们最大的差异在于运行时长,以及工作停止后必须持久化的状态。短生命周期 agent 处理有界任务,即有明确终点、在数秒到数分钟内完成的任务。长运行 agent 在数小时到数月内保持其目标或身份,表现为三种模式。单个部署可以组合这些模式。
下面的时间线展示了每种模式的一个会话:其轮次何时运行、每轮由什么触发,以及会话在轮次之间等待什么。段落宽度表示顺序和比例,而非实测时长。
短生命周期 agent。一个请求、一个调度或一个父 agent 触发一轮,或快速连续触发几轮。会话在 agent 返回结果时结束,因此需求随到达率和轮次时长变化。
长时程自主 agent。用户设定目标,harness 在没有进一步输入的情况下继续,表现为一个长轮次或自行启动的链。等待只发生在轮次内部,因此沙箱保持分配。已发表的运行持续了 42 小时(J. H. Neves)和超过三周(Cursor)。
已发表的长时程 agent 大多是编码 agent。SWE-Marathon 是一个针对数小时运行的基准,由 20 个软件工程及相邻技术任务组成,agent 每次尝试平均消耗 2720 万 token。每个任务附带可执行环境和多层验证套件。这种组合很可能是编码占主导的原因:它为 agent 提供了长时间无人值守运行所需的条件——一个可工作的沙箱和能告诉它是否在取得进展的测试,无需人工检查。没有自动检查的领域往往会增加审批点,这将其推向人在回路模式。
事件驱动 agent。一个事件或调度触发每个短轮次,轮次之间的等待相比之下很长。agent 无法控制其恢复时间,而共享的调度或事件源可能在同一时刻恢复许多 agent。Cloudflare 的一个设计示例假设 agent 有 1% 的时间处于活跃状态,这只是示例说明,并非实测数据。
人在回路 agent。人触发每一轮,并可能在轮次内批准操作。两种等待都持续数秒到数天,且结束时间不可预测。
空闲的沙箱并不总是可挂起的沙箱。在模型调用期间,沙箱几乎不占用 CPU,但轮次在数秒或数分钟内又需要它(《Not All AI Agents Are Equal》)。在轮次之间等待人或事件的会话,其沙箱同样处于低 CPU 使用状态。因此,仅凭低 CPU 使用无法判断沙箱是在轮次内空闲还是在轮次之间空闲。
任何模式的 agent 都可以启动其他 agent(称为子 agent)来处理其部分任务。大多数子 agent 是短生命周期的:每个在其父轮次内运行一轮,使用全新上下文,返回摘要后结束。父 agent 在子 agent 工作时等待,因此其沙箱保持分配,会话数量低估了并发轮次的数量。例如,一个主导研究 agent 通常并行启动三到五个子 agent(Anthropic),在持续数周的编码运行中,规划器会为代码库的特定区域启动子规划器。父 agent 也可以保持子 agent 存活并反复与之交互;此时该子 agent 的行为就像事件驱动 agent,其事件来自父 agent。
只有在会话于轮次之间等待时,挂起 agent 才有意义。在轮次内部,harness 正处于循环之中,其打开的连接(如数据库会话或 MCP 连接)无法在挂起后存活(《Agent Substrate》)。在轮次之间,没有进行中的工作,因此一旦等待时间超过空闲超时,agent 就可以被挂起:空闲超时是沙箱平台的一项设置,规定沙箱在没有轮次运行的情况下可以空闲多久,之后平台将其挂起。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。