返回资讯中心
外部精选
软件工程
#开发者实时流

FlashStates 提出混合状态管理方案,优化 agentic LLM 推理

来源标题:FlashStates Unlocking Flexible Hybrid State Management for Agentic LLM Inference

FlashStates 在请求结束处精确保存循环检查点,并将检查点与其依赖的 KV 作为一个整体保留或驱逐,以解决固定状态池竞争导致的依赖未命中问题。研究指出 SGLang 每 256 个 token 打一次检查点,在 32 会话下每请求检查点数量是 vLLM 的 4.2 倍。该方案不改变 KV 块大小和分块大小,输出保持逐位一致。

Hacker News 最新matt_d2026/11/10 · 8 天前4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

SGLang 每 256 个 token 做一次 checkpoint,因此放置未命中很少(b)。然而在 32 个会话时,它为每个请求保留的 checkpoint 数量是 vLLM 的 4.2 倍。这些 checkpoint 争抢固定大小的 state pool,从而导致依赖未命中(c)。

FlashStates 将 recurrent checkpoint 精确保存在对话轮次恢复的位置,并且把每个 checkpoint 与它所依赖的 KV 作为一个整体保留或驱逐。

下一轮从上一个请求结束的位置恢复,而这个位置通常位于某个 KV block 内部。ASC 就把 recurrent checkpoint 精确保存在那里:请求结束时,它在清理之前捕获混合状态;如果该位置落在某个 prefill chunk 内部,kernel 会在该 chunk 继续执行的同时,将 checkpoint 作为副输出导出。KV block 大小和 chunk 大小都不变,输出保持 bit 级完全一致。

recurrent checkpoint 若没有它之前的 KV 就毫无用处,而那些 KV 若没有该 checkpoint 也无法恢复请求。因此 FlashStates 把每个混合状态作为一个整体来保留或驱逐:它的 checkpoint 加上只有它需要的 KV。与其他混合状态共享的 KV page,只有当最后一个需要它的状态离开时才会被释放。

每个混合状态按其节省的 prefill 时间来定价,该时间对每个模型只测量一次,并以驱逐它能释放的内存块为单位。无需针对任何工作负载进行调优。准入使用同样的定价:内存紧张时,只有当新 checkpoint 的价值高于已缓存的最便宜 checkpoint 时,才会被缓存。一段时间内没有任何请求从中恢复的状态会排在后面,因此每个会话最新的 checkpoint(即其下一轮恢复的位置)通常保留得最久。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →