返回资讯中心
外部精选
软件工程
#开发者实时流

Evolving Infra发布自适应LLM服务系统,端到端延迟最高降低4.1倍

来源标题:Evolving Infra: Agent-Adaptive LLM Serving at Scale

Evolving Infra推出面向智能体工作负载的LLM服务系统,纯在线自适应、无需离线剖析。在最多256块GB300 GPU上运行GLM-5.2和Kimi K2.6,相比NVIDIA Dynamo平均端到端延迟最高降低4.1倍,P95首token时间最高降低14倍,吞吐量最高达其2.7倍。系统通过路由器、规划器和共享主机内存中的KV缓存三项设计实现在线自适应。

Hacker News 最新fourfire2026/11/18 · 今天12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

通讯作者:hao.kang.sys@gmail.com 这是一个面向 agent 的原生仓库。使用你的编码 agent(Claude Code、Codex 等)来理解、部署、基准测试和开发 Evolving Infra。它会读取 AGENTS.md 了解规则和代码地图,并按每项任务对应的 skill 逐步执行。 demo.mp4 Evolving Infra 是一个 LLM 服务系统,它完全在线地自适应 agent 工作负载,无需任何离线性能分析。在使用 GLM-5.2 和 Kimi K2.6、最多 256 块 GB300 GPU 运行编码、数学和计算机使用类 agent 时,与 NVIDIA Dynamo 相比,它将平均端到端延迟最多降低 4.1 倍,首 token 的 P95 时间最多降低 14 倍,吞吐量最高可达其 2.7 倍。 数学(Putnam)、编码(Claude Code)和计算机使用(OSWorld)agent,各有三个并发级别。越低越好。 Evolving Infra 通过三项设计实现在线自适应: 路由器将每个请求发送到一个 prefill 节点和一个 decode 节点。规划器在两个分组之间移动节点(虚线箭头)。当某个 agent 分支仍在使用 KV 时,KV 保留在共享主机内存中。架构图描述了请求路径。 Evolving Infra 由你的编码 agent(Claude Code、Codex 等)完成设置和运行:下面的每项任务都是一个 skill,agent 按步骤执行,逐步检查并报告它运行了什么。每个组件都包含在运行时镜像中,面向 x86_64(H200、B300)和 aarch64(GB300)构建:docker.io/weili0234/evolving-infra:v0.1.0。 部署模型。向你的 agent 提出:“Deploy <model> on <hosts> with Evolving Infra, following skills/deploy-stack/SKILL.md.” 给它模型目录、主机以及命令如何到达这些主机(每台主机上的一个 shell,或一个调度器)。它会检查机器,当模型或 GPU 没有示例时编写配置,启动 stack 并检查其能否应答。对于编码 agent 的 harness,让它使用 examples/agents 中适用于你的模型的配置,该配置会添加工具调用解析器。 连接 agent。向你的 agent 提出: Pi、Claude Code 或 Codex:“Run <harness> on our Evolving Infra stack at <router url>, following skills/connect-harness/SKILL.md.” 每个都有启动脚本;harness 自身的设置不变。 任何其他 harness(OpenCode、Aider、内部 CLI 等):“Add a launch script for <harness>, following skills/add-harness/SKILL.md.” 它会找出 harness 发送哪个 API,编写 examples/agents/<harness>.sh,并用一个 prompt 和一次工具调用进行验证。 你自己的 agent 代码:“Connect our agent to Evolving Infra, following skills/connect-agent/SKILL.md.” 此后它的请求会携带 agent 身份,因此其活跃分支的 KV cache 会被保留。 复现论文 向你的 agent 提出:“Reproduce the paper's Claude Code result on our Slurm cluster, following skills/run-benchmark/SKILL.md.” 给它工作负载(Claude Code、Putnam 或 OSWorld)、Slurm 账户和分区、镜像、模型目录以及一个所有节点都能看到的目录。一次运行会占用九个 GPU 节点,持续约两小时。工作负载和论文结果位于 benchmarks/。 当运行无法启动、请求失败或得分低于参考值时,让它按照 skills/diagnose-run/SKILL.md 执行。 目录 内容 evolving_infra/engine/ 服务引擎,派生自 SGLang(decoupled_engine);我们改动的内容 evolving_infra/router/core/ Rust 路由器(sgl-router) evolving_infra/router/frontend/、evolving_infra/router/indexer/、evolving_infra/router/client/ Tokenizer 服务、KV 目录、Python 客户端 evolving_infra/planner/ 规划器 evolving_infra/launch/、examples/ evolving-infra serve;每种硬件和模型的配置,以及如何在 Slurm 或 Modal 上运行 AGENTS.md、skills/ 面向编码 agent 的说明和 skills benchmarks/ Agent trace 回放、运行检查、参考结果 docker/ 运行时镜像 贡献 我们欢迎贡献,并建议使用编码 agent 来完成: 加入 InferenceRSI 社区讨论该项目,可通过 Discord 或微信群: 如果你使用 Evolving Infra,请引用论文: title={Evolving Infra: Agent-Adaptive LLM Serving at Scale}, author={Hao Kang and Weili Xu and Ziyang Li and Zheng Du and Hanchen Li and Tian Xia and Song Bian and Tushar Krishna and Huizi Mao and Ion Stoica and Song Han}, year={2026}, eprint={2611.12304}, archivePrefix={arXiv}, primaryClass={cs.DC}, url={https://arxiv.org/abs/2611.12304}, 许可证 MIT(LICENSE)。引擎(evolving_infra/engine/)和路由器核心(evolving_infra/router/core/)派生自 SGLang 上游提交 9a489f8d2f,并与 Trie(benchmarks/trie/)一起,在其各自的 LICENSE 文件中仍遵循 Apache License 2.0;NOTICE 列出了所有包含的第三方作品。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →