
llama-sleep让Llama.cpp模型切换降至2秒内,实现休眠模式
来源标题:Swapping LLMs in Under Two Seconds: A Sleep Mode for Llama.cpp
llama-sleep通过将模型的GPU内存暂存到主机RAM而非停止模型,把两个GPU满载模型间的切换时间从10.3秒降至2.1秒,且保留缓存提示词。配合多尺寸透明大页这一内核设置后,切换进一步缩短至1.7秒,比最初的10.3秒快约六倍。该方法主要受限于4KB页面而非PCIe带宽。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026-11-05 作者:Robert Zaage 阅读时长 10 分钟 #note #linux #machine learning
不同任务需要不同的语言模型,而在只有一块 GPU 的情况下,像 llama-swap 这样的代理不得不来回切换模型,有时一小时要切换好几次。
在两个占满 GPU 的模型之间切换一次要花 10.3 秒,而且被替换掉的模型此前缓存的提示词也一并丢弃。只需改一项配置,再加一个小包装程序 llama-sleep——它把模型的 GPU 显存暂存到主机内存,而不是直接停掉模型——切换时间就降到 2.1 秒,且缓存的提示词原样保留。
剩下的开销是主机内存与 GPU 之间的拷贝,而拖慢它的主要是 4 KB 页,而非 PCIe;启用多尺寸透明大页(一个内核参数)后,切换只需 1.7 秒,约为最初速度的六倍。
在我的家庭服务器上,一个 Gemma 4 12B 模型负责应答语音助手,一个 Gemma 4 26B 模型处理长输入,其中很多来自自动化任务。每个模型都单独占满 GPU,所以每个自动化任务都要付出两次切换的代价:切到 26B,再切回来。
llama-swap [1] 是 llama.cpp 的 llama-server [2] 前面的一个代理,负责完成切换:它停掉正在运行的模型,启动被请求的模型。这要付出一次完整模型加载的代价,而且语音模型会丢掉它约 8,000 token 的缓存系统提示词;重新计算这些提示词又让第一句语音输出延迟了 6–7 秒。
vLLM 为此提供了睡眠模式 [3],llama-swap 也附带了一个使用它的 vllm-wrapper [4, 5]。llama-server 的 --sleep-idle-seconds 会在空闲一段时间后卸载模型 [6],但它会连同 KV 缓存一起释放,并在下次请求时重新加载权重。
这篇笔记要问的是:在 llama-swap 不改动、额外软件尽可能少的前提下,llama-swap 背后的切换能有多快?
在两个 26B 模型之间做一次基线切换需要 10.3 秒:停掉旧进程、启动新进程、加载权重,并等到 llama-swap 的健康检查通过。其中有两部分是纯粹的开销。
跳过 llama.cpp 的预热运行(--no-warmup)没有可测量的变化。剩下的就是加载机器内存中已经持有的权重,而暂存正是为了避免这一步。
自驱动 550 起,NVIDIA 的 cuda-checkpoint 工具可以挂起一个运行中进程的 CUDA 状态 [7]。它把进程的设备内存拷贝到主机内存并释放 GPU;再次调用则把它拷贝回相同的地址。
在运行中的 12B 上,这一操作移出耗时 3.8 秒,移回耗时 1.5 秒,之后模型应答正常。
llama-sleep [9] 采用 MIT 许可证,沿用了 llama-swap 的 vllm-wrapper [4] 的模式:一个小程序,充当模型的 cmd 和 cmdStop。图 1 展示了它如何切换两个模型。
macros: "serve": llama-sleep serve --name ${MODEL_ID} --listen 127.0.0.1:${PORT} --idle 5s -- "sleep": llama-sleep sleep --name ${MODEL_ID} --stop-pid ${PID} models: "gemma-26b": { cmd: "${serve} llama-server ...", cmdStop: "${sleep}" } 图 1. 使用 llama-sleep 的一次切换:空闲的模型在任何人需要 GPU 之前就被暂存到主机内存,而对另一个模型的请求则在该模型的闸门前等待,直到它被唤醒。
它会挂起请求。llama-server 以分离守护进程的方式运行,只有 llama-sleep 能接触到它,通过 Unix socket 或内部容器端口。llama-sleep 是监听 llama-swap 端口的反向代理,它会挂起每一个请求(包括健康检查),直到模型被唤醒且状态健康。这避免了崩溃,也取代了 llama-swap 的轮询:模型一就绪,健康检查立即返回。
它在后台暂存。使用 --idle 5s 时,空闲五秒的模型会在无人等待的情况下被暂存。之后的切换只需唤醒新模型。
它在启动时唤醒。llama-swap 因为有请求在等待而启动 serve,所以唤醒立即开始,而不是等到第一次健康检查。
它只是一个文件。llama-sleep 是一个约 7 MB 的单一 Go 二进制文件,构建时不使用 cgo。它通过 dlopen [10] 调用 CUDA 驱动 API 的 checkpoint 函数(cuCheckpointProcess*)[7, 8],既不需要 cuda-checkpoint,也不需要 CUDA 工具包。
它会安全失败。命令行发生变化时,会替换掉被暂存的守护进程,而不是恢复它;恢复失败或守护进程崩溃会终止 serve,于是 llama-swap 会察觉,并在下次请求时重新启动模型。
5 结果#
图 2. 每一步之后直到第一个 token 的切换时间,在两个占满 GPU 的 26B 模型之间,以及从 26B 切回 12B 语音模型。最后一步多尺寸大页在第 6 节解释。
这些步骤是累积的:第 3 节中的固定层拆分;第 4.2 节中的挂起请求、后台暂存和启动时唤醒;以及第 6 节中的大页。每一步都去掉了切换中可见的一部分,而暂存带来的收益最大(图 2 和图 3)。未展示的方向,即从 12B 到 26B,表现与 26B 这一对相同:开始时 10.1 秒,结束时 1.6 秒。
图 3. 两个 26B 模型之间同一次切换,未使用和使用 llama-sleep(含大页,第 6 节)的实时回放。基线通道的各阶段由单独测量重建;两个总时长都是实测的。
缓存的提示词得以保留。一个 9,589 token 的提示词在切到 26B 再切回来后再次发给 12B,应答只处理了 1 个 token,9,588 个来自缓存;而在冷启动之后,9,589 个全都要重新处理。
图 4. 一次 26B → 12B 切换中时间的去向,使用 4 KB 页。除基线(其拆分是近似值)外,各段来自毫秒级时间戳的跟踪记录。
暂存只有在后台进行才划算。若在切换过程中暂存,较慢的拷贝方向就落在关键路径上:在固定拆分下,26B → 12B 此时需要 6.8 秒,而停掉旧模型只需 3.5 秒。
在后台暂存并配合启动时唤醒后,拷贝之外的一切缩短到 82 毫秒:llama-swap、进程启动、解锁、健康检查、提示词和第一个 token。其余 1,784 毫秒是拷回 GPU 的时间(图 4)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。