
AWS 升级 Bedrock AgentCore 运行时算力,最高支持 8 个 vCPU 和 32GB 内存
来源标题:AWS boosts Bedrock AgentCore runtime compute capacity to speed up AI agent development
AWS 周四宣布升级 Amazon Bedrock AgentCore 的运行时层,算力提升至此前版本的四倍,每个会话最高支持 8 个 vCPU 和 32GB 内存。新版本还支持最大 10GB 的容器镜像,可在 agent 释放内存后几分钟内回收闲置内存,并让空闲 agent 缩容至零以降低成本。AWS 表示,这些升级可支持代码库编译、浏览器驱动流程和本地模型推理等更重的 agent 工作负载。
以下正文由 AI 翻译自 InfoWorld(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AWS 周四表示,正在升级 Amazon Bedrock AgentCore 的运行时层,提升计算容量、优化内存利用效率并加快启动速度,帮助企业在部署和扩展 AI agent 时更快速、更具成本效益。
这家超大规模云服务商在声明中表示,更大的计算容量包括支持最高达到此前版本四倍的计算能力,每个会话现在最多支持 8 个虚拟 CPU(vCPU)和 32GB 内存。
此外,运行时还支持最大 10GB 的容器镜像。AWS 补充说,这些升级将使开发者能够运行更 demanding 的 agent 工作负载,包括大型代码库编译、浏览器驱动的工作流以及本地模型推理。
在内存利用方面,新更新将使 AgentCore 运行时能够在 agent 释放未使用内存后的几分钟内回收这些内存,并允许空闲 agent 缩容至零。该超大规模云服务商表示,这将帮助企业降低运行 agent 的成本,尤其是那些花费大量时间等待模型响应、工具调用或人工介入的 agent。
对于交互之间存在自然停顿的多轮 agent,这可以将每个会话的内存消耗降低最多 68%,AWS 补充道。
另外,为了支持始终在线的 agent,该超大规模云服务商在此次更新中引入了基线定价(baseline pricing)。
据该公司介绍,基线定价为每个会话设定最低内存分配量,同时允许工作负载在需要额外容量时突增到该基线的四倍。
AWS 表示,这种定价的可预测性将使企业能够维持始终在线的 agent 会话,而无需预先为峰值容量付费,同时保留在需求增加时扩展的灵活性。
AWS 还将运行时的隔离能力从计算扩展到 agent 在执行期间访问和生成的数据,允许开发者通过 FUSE 支持将 agent 工作动态挂载并保存到文件系统,包括 Amazon S3 存储桶。
此前,企业必须自行构建机制来管理文件、凭证和工具输出如何在 agent 的隔离执行环境与外部存储系统之间流转。
更大的会话和更快的启动速度有望简化 agent 开发
HFS Research 执行研究负责人 Ashish Chaturvedi 表示,这些改进可以让开发者更容易构建和运行更复杂的 AI agent 工作负载。
“编译大型代码库的编码 agent、加载完整网页的浏览器 agent,以及在本地运行小型模型的 agent,都已经超出了此前的会话规格,因此开发者不得不笨拙地拆分工作,或者干脆将其移出隔离环境,”Chaturvedi 解释道。
“现在会话扩展到 8 个 vCPU、32GB 内存和 10GB 容器镜像,这些复杂工作负载可以容纳在安全边界之内了,”Chaturvedi 补充道。
更快的启动时间也可能对开发者产生影响,尤其是在他们如何配置和管理 agent 执行环境方面。
“当一个全新的隔离会话需要近一分钟才能启动时,开发者不得不维护预热池中的预配置容量来避免延迟,即使 agent 并未活跃使用这些资源,也会产生成本,”Chaturvedi 说。
“而现在无论容器镜像大小如何,启动时间都低于两秒,开发者可以按需配置隔离会话,而不必维护空闲容量,”Chaturvedi 表示。
此外,据这位分析师称,运行时能够在几分钟内回收未使用内存并将空闲 agent 缩容至零,意味着开发者不再需要围绕非活跃期进行工程化设计。
“这意味着开发者可以构建多轮和长时间运行的 agent,而无需自己编写逻辑来关闭会话、保存状态并重新启动,”Chaturvedi 说。
内存效率可为 CIO 降低成本
HyperFRAME Research 的 AI 栈实践负责人 Stephanie Walter 表示,对于 CIO 而言,同样的内存利用效率很可能带来成本节约。
“Agent 在等待审批时通常不应需要与执行代码时相同的资源。回收未使用内存并将空闲会话缩容至零,可以降低维持长时间运行 agent 可用的成本,”Walter 说。
“而且由于企业可能会运行数百个并发 agent 会话,尤其是那些花费大量时间等待模型响应、工具调用或人工介入的 agent,减少资源消耗可能带来实质性变化,”Walter 补充道。
除了成本之外,同样的资源利用改进还可以帮助 CIO 加速 AI agent 在整个企业中的推广。
Walter 表示,由于提高资源效率可以帮助开发者更有效地构建和管理 agent 工作流,企业有可能更快地部署 agent,并更迅速地在各业务职能中扩大其使用范围。
缩容至零和基线定价存在权衡
然而,她警告说,CIO 不应假设运行时的 agent 缩容至零能力会消除所有相关成本,因为存储、模型调用、外部工具和其他服务仍然可能产生费用。
“开发者还需要测试恢复过程:文件是否可用、凭证是否过期、agent 是否知道其上一个操作是否完成?节省空闲资源是有用的,但如果唤醒 agent 导致其重复支付或重复生产变更,那就得不偿失了,”她补充道。
Chaturvedi 也提醒说,将 agent 缩容至零的能力可能会在这些 agent 需要恢复执行时引入延迟,这可能使其不适合对延迟敏感的 agent。
此外,还可能存在治理风险。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。