返回资讯中心
外部精选
软件工程
#开发者实时流

为什么AI编码代理应运行在Kubernetes上

来源标题:Why Run AI Coding Agents on Kubernetes?

文章指出,随AI编码代理大规模推广,把代理放在开发者笔记本上运行不再可行,平台团队需要在其可控的基础设施上统一提供执行环境。作者强调,在自有基础设施上运行代理与选择模型推理位置是两个独立的架构决策,内部AI网关本身并不能保证提示词和工具输出留在企业内部。

Hacker News 最新pchico832026/11/17 · 今天14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI 是一种放大器。当你的工程平台具备结构时,编程智能体会倍增速度;而当平台缺乏结构时,它们会倍增风险。这就是为什么关于智能体最重要的问题不再是你的开发者使用哪一个,而是这些智能体在哪里运行。

在许多公司,如今的答案是“在每个开发者的笔记本电脑上”。有人安装了 Claude Code、Codex 或 Cursor,将其指向一个代码仓库,并给它一个终端。对于一个开发者和一个智能体来说,这已经足够好用。但当平台团队被要求将智能体推广到数百名开发者——每人同时运行多个智能体,且公司还必须向审计人员交代时——这种方式就失效了。

对于要求智能体执行必须留在其控制的基础设施内的组织来说,问题在于如何跨团队一致地提供这种执行环境。在自有基础设施上运行智能体,与选择模型推理发生的位置,是两个独立的架构决策:一个内部的 AI 网关本身并不能保证提示词和工具输出留在你的基础设施内。

开发者笔记本电脑可以被加固,但它们不应该充当每个自主任务的执行平台。对于已经在运行 Kubernetes 的团队来说,集群为集中管理的智能体工作负载提供了熟悉的基础,具备明确的身份、资源限制、网络策略和生命周期控制。这些控制并非自动生效。优势在于拥有一个可以一致地定义、执行和审查这些控制的平台,而不是为智能体另建第二个平台。

本文的其余部分从四个方面比较这两种运营模式:安全性、可复现性、规模和可观测性。

智能体可以在笔记本电脑上安全运行:智能体框架提供了文件系统和网络沙箱。但这取决于每个开发者去设置它、保持开启并保持更新。如果没有这些,智能体就以开发者的身份运行,携带他们的云凭证、kubeconfig、SSH 密钥和 VPN 访问权限:这就是 Simon Willison 所说的“致命三要素”——私有数据、不可信内容,以及一种将数据发送出去的方式。s1ngularity 攻击从开发者机器上泄露了 2,349 个凭证,而在 PocketOS,一个智能体在一个无关文件中发现了 API token,并删除了生产数据库。

在 Kubernetes 上,平台团队定义每个智能体可以访问哪些凭证和目的地。每个任务在自己的 pod 中运行,使用绑定到 pod 的短期 token(或完全不使用 token),采用工作负载身份而非静态云密钥,并在 Kubernetes API 上实施 RBAC。Pod Security Standards 的 Restricted 配置文件保持 pod 以非 root、非特权方式运行,RuntimeClass 可以添加沙箱化运行时(如 gVisor 或 Kata Containers),NetworkPolicies 限制出口流量只能到达智能体需要的目的地。Agent Sandbox 是 Kubernetes SIG Apps 的一个子项目,将这一模式打包为 Sandbox API,并带有用于快速启动的热池。

每个开发者配置自己的智能体:自己的工具链版本、自己的 MCP 服务器、自己的权限设置、自己的 CLAUDE.md 或 AGENTS.md。随着时间的推移,这些配置会逐渐分化。安全研究人员称之为姿态漂移:一个开始时只有三个已批准工具的智能体,在开发者逐个添加服务器后最终变成了十一个,而没有人审查结果。于是,同一个任务交给同一个智能体,会因为运行在谁的笔记本电脑上而表现不同。当智能体的变更在 CI 中失败时,你无法判断是变更本身有问题,还是智能体的环境有问题。

在 Kubernetes 上,智能体的运行时是 Git 中一个带版本的定义:一个通过摘要固定的容器镜像,因此它不会在移动的标签下发生变化,以及一个包含每类任务所需权限的清单。当平台团队更新镜像或策略时,变更像任何其他代码一样被审查,而所有使用该定义的智能体都会获得这一变更。

智能体在长任务和并行任务中最为有用。笔记本电脑在这两方面都很糟糕。一个运行数小时或数天的智能体会把机器也拖住:它运行测试、编译,并与开发者争夺 CPU 和内存,而当笔记本电脑休眠、卡死或失去连接时,任务就会终止。笔记本电脑的资源也为同时能运行多少个智能体设定了硬性上限。正如 Faire 的一位首席工程师所说,在本地机器上并行运行智能体是有办法的,“但复杂得多”。

在 Kubernetes 上,智能体任务可以作为 Job 运行,在整个集群中调度,当需求增长时由 cluster autoscaler 或 Karpenter 添加节点。开发者可以启动十个智能体然后合上笔记本电脑。activeDeadlineSeconds 停止失控的任务,ttlSecondsAfterFinished 删除已完成的 Job 及其 pod,ResourceQuotas 限制每个团队的智能体可以使用多少计算资源。

当智能体在笔记本电脑上运行时,平台团队没有清单来了解存在哪些智能体、它们能访问什么、它们运行什么,或者它们的成本是多少。在大多数组织中,已经有智能体在运行一些没人注意到的东西。你无法治理你看不见的东西,你也无法通过提示词和流程文档在你无法控制的数百台机器上执行治理。

Kubernetes 为收集工作负载日志、资源指标和 API 审计事件提供了基础。要理解智能体的行为,请将基础设施遥测数据与智能体层面的记录相关联:任务标识符、工具调用、执行结果和模型使用情况。这些记录共同帮助平台团队调查故障、审查访问权限并归属成本。

Kubernetes 并不会默认让智能体变得安全。它为平台团队提供了一个基础,以便在与其余工作负载相同的身份、策略和可观测性下,为智能体提供受治理的执行环境。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →