
微软发布 Microsoft Copilot SDK,开放 Copilot 运行时编程访问
来源标题:Microsoft Copilot SDK 2.0
微软在 Ignite 大会上发布 Microsoft Copilot SDK(原 GitHub Copilot SDK),让开发者以编程方式直接调用支撑微软全线产品的 Copilot 运行时,用于构建可在任意环境运行、使用任意推理的智能体。该运行时此前已被 GitHub 和微软多个团队作为共享平台采用,但过去仅支持单容器托管,如今新增对多租户、高性能架构的支持。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们如何增强 Copilot 运行时以支持多租户、高性能架构,以及你如何为自己的 agentic 用例选择合适的架构。
今天在 Ignite 上,我们发布全新的 Microsoft Copilot SDK(此前名为 GitHub Copilot SDK)。它让你以编程方式直接访问 Microsoft Copilot harness——这套 harness 为我们在整个产品组合中的编码、非编码和创意类应用、平台与服务提供支撑。你可以用它构建能在任何地方运行、并能使用任意推理能力的 agent。
自今年早些时候 Copilot SDK 发布以来,GitHub 和 Microsoft 的许多团队都已将该运行时作为共享平台,用于我们各项服务中的 Copilot agent。对许多用例而言,把 agent 托管在单个容器中过去是、现在仍然是其架构的正确选择。Microsoft 内部的大多数团队会为每个会话分配独立的沙箱,从而让数据始终留在一个受管理的边界内。如果 agent 要编译代码、运行不受信任的脚本,或需要自定义镜像,那么硬性的容器边界仍然是其基础设施中不可或缺的一部分。
问题在于,在此之前,容器是唯一选项,因此它的取舍渗透进了每一个实现。每个会话无论是否需要,都会占用一个容器。这意味着第一轮响应必须等待基础设施就绪,成本随会话数量快速攀升,而且会话的身份与运行它的进程绑定在一起。
全新的 Microsoft Copilot SDK 移除了「运行时拥有其所运行机器」这一假设。Shell、磁盘以及启动运行时者的身份都被新的抽象层所取代,让开发者能够掌控设计并部署高性能 agent 所需的各项能力——从简单的聊天助手到复杂的多 agent 软件工厂。
2.0 的第一个重大变化是:运行时可以在单个进程内承载多个会话。每个会话拥有自己的状态、凭据、工具、文件和历史记录。任何会话都无法看到另一个会话。会话变得低成本且高度可丢弃。创建一个会话无需启动容器、进程或 VM,这既缩短了首 token 时间,也降低了运营成本。当用户提出简单问题时,运行时可以立即以高性能推理作出响应。
这一切的前提是运行时本身足够精简,因此我们用 Rust 重写了它。在相同的预热工作负载下,创建客户端和会话并完成一轮交互,从 TypeScript CLI 上的 5.25 秒缩短到 Rust 核心进程内的 55.3 毫秒。可扩展性同样得到提升:10 个客户端现在占用 126 MB 内存,而非 1,383 MB;吞吐量从每秒 7.55 个会话提升到 120 个会话。
从 SDK 的角度看,共享运行时只是一个连接。多个应用实例可以使用我们新增的 empty 模式指向同一个运行时服务:
在 2.0 之前,运行时以实例化它的身份行事。现在,每个会话都可以作为请求它的用户的身份独立运行。你在创建会话时传入该用户的凭据,会话发起的每次模型调用和工具调用都归属于该用户,而不是你的服务器。
对于生产服务,gitHubTokenProvider 回调让运行时可以在 token 过期时按会话请求新的 token,因此你永远无需存储长期凭据。
只有当任何会话都无法触及其所运行的机器时,共享运行时才是安全的。mode: "empty" 会让每个会话以最小的环境能力启动:没有宿主 shell、没有宿主文件系统、没有默认工具。你再按需精确添加会话应具备的能力,而你注册的工具在你的进程中、针对你的数据、按你的规则运行。
在「每会话一容器」的世界里,会话的生命周期与容器相同。而在新运行时中,会话是持久的,其生命周期长于任何连接到它的进程或客户端。
第一项是 session journal。随着对话推进,运行时会将它所知的关于该会话的一切——例如消息、工具调用及其结果、计划、检查点——追加到事件日志中。任何能够读取该日志的运行时都可以带着完整历史恢复该会话,无论是重启后的同一进程、你服务的另一个实例,还是另一台机器。
第二项是 sessionFs,它决定该日志存放的位置。默认情况下,运行时将会话状态保存在自己的磁盘上。借助 sessionFs,由你的应用提供文件系统,因此会话状态和会话级文件可以存放在对象存储、数据库或你控制的租户级路径中。本地磁盘变得可丢弃:
随后,你服务的任何实例都可以通过会话 ID 将其重新接管,前提是你已校验调用方拥有该会话:
由于会话状态存在于任何单个进程之外,客户端可以随时来去。Web 应用可以断开连接,而长时间任务继续运行。队友可以将 GitHub Copilot CLI 接入同一会话以检查或引导它。webhook 可以在数小时后重新接起一段对话。空闲沙箱可以停止以节省成本,并在下一条消息到来时恢复,磁盘内容完好无损。
这与 GitHub Copilot 中的会话连续性建立在同一基础之上:在一个界面开始会话,在另一个界面接起它,历史记录完好无损。当你需要让一个活跃会话同时服务多个客户端时,SDK 可以运行在 Agent Host Protocol(AHP)宿主之后。AHP 是一个独立的开放协议,它将 agent 会话转变为可供多个客户端接入的共享、同步资源。VS Code 的 agent host 正是这样工作的,它构建在 Copilot SDK 之上。
我们希望 SDK 用起来就像构建 agent 的标准库,因此我们暴露了一套在所有编程语言中都可用的 C ABI,并将运行时默认切换为进程内运行。无论它运行在你的进程中、作为子进程,还是作为共享服务,你的 agent 代码都无需改动。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。