在Kubernetes 上用API部署开放权重模型
来源标题:Deploying an Open Weights LLM as an API in Kubernetes
作者在自有GPU 服务器上使用Kubernetes 把开放权重模型部署成了API 服务。硬件为6GB 显存的RTX 2060、Ryzen 5 3600 和15GB 内存,属于较老配置,只够运行较小的模型;部署后用Pi coding agent 测试了模型的编码能力和速度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
开放权重模型的能力越来越强,许多组织都在考虑是否应该自行部署和管理这类模型。今年早些时候,IBM 的 CEO 表示,开放权重模型已经越来越接近闭源模型的水平,而成本只是后者的一小部分。如果你希望数据留在公司内部,运行自己的模型也是合理的选择。本文旨在探讨将一个开放权重模型部署在 API 之后需要做哪些工作。我将使用 Kubernetes 来管理部署和扩缩容。模型部署完成后,我会用 Pi 编码代理来测试该模型的编码能力和速度。
硬件方面,本项目运行在我自己的 GPU 家庭实验室上,系统是 Ubuntu Server。这台机器配备了一块 RTX 2060,拥有 6 GB 显存。按今天的标准来看这是一张相当老的卡,但足以运行一些较小的模型。其余配置为 Ryzen 5 3600(12 线程)和 15 GB 内存。作为参考,RTX 2060 与 AWS g4dn.xlarge 中的 T4 属于同一代产品,后者按需价格约为每小时 0.53 美元,如果一直运行(单实例)每月大约 380 美元。不过 T4 有 16 GB 显存,因此能容纳比我的卡更大的模型。显卡的显存限制了我能使用的模型大小。而且我只有一块 GPU,这意味着我无法扩展到多个实例。在生产环境中,需要扩缩容时你会拥有多个可用节点。
模型方面,我将使用 Qwen3.5,40 亿参数,量化为 4 比特(Q4_K_M)。这是一个小模型,能够编写代码并使用工具,正是那种你会在内部部署、供软件工程师配合 Pi 这类编码代理使用的模型。选择这个模型的原因是,它是我这块显卡显存所能容纳的最大模型。模型文件约 2.7 GB,会被加载到 6 GB 显存中。剩余的显存需要用于 KV 缓存,它保存上下文,是让响应变快的关键。(我在之前的一篇文章中写过 KV 缓存的工作原理。)再往上一个规格是 90 亿参数模型,在计入 KV 缓存所需内存之前就已占用约 5.7 GB。那样就没有空间留给上下文了,在我的卡上无法使用。 我的 6GB 显存 GPU 的内存分配
部署方面,模型作为 Kubernetes 中的集中式 API 服务进行部署。用户(也就是我)通过 URL 和 API key 调用它,将模型用于编码任务。我在家庭实验室中使用 K3s,这是 Kubernetes 的轻量版本。该部署由一个 Deployment、一个 ConfigMap、一个 Secret、一个 Service 和一个 HPA(Horizontal Pod Autoscaler)组成,另外还有一个 PersistentVolumeClaim,用于在重启之间保留模型文件。 本次部署中的 Kubernetes 资源
Deployment 定义了 Pod 所使用的镜像、存储和配置。在容器级别,你需要定义 Pod 运行哪个镜像,以及加载哪些环境变量和配置。镜像方面,我使用的是 llama.cpp 的 llama-server(ghcr.io/ggml-org/llama.cpp:server-cuda),这是一个可直接使用的 HTTP 服务器,用于开放权重模型。每个 Pod 请求一块 GPU(nvidia.com/gpu: 1),模型在启动时被下载到挂载在 /models 的卷中。 apiVersion: apps/v1 kind: Deployment metadata: name: llm namespace: llm labels: app: llm spec: strategy: type: Recreate # one GPU: old pod must release it before the new one starts selector: matchLabels: app: llm template: metadata: labels: app: llm spec: runtimeClassName: nvidia # k3s-specific: use the NVIDIA container runtime nodeSelector: homelab/gpu: "true" # only schedule on GPU nodes tolerations: # allowed onto the GPU node once it's tainted - key: homelab/gpu operator: Exists effect: NoSchedule containers: - name: llama-server image: ghcr.io/ggml-org/llama.cpp:server-cuda envFrom: - configMapRef: name: llm-config - secretRef: name: llm-secrets env: - name: LLAMA_CACHE value: /models - name: LLAMA_ARG_HOST value: 0.0.0.0 - name: LLAMA_ARG_PORT value: "8080" ports: - name: http containerPort: 8080 resources: requests: cpu: "1" # HPA % is measured against this memory: 2Gi limits: memory: 4Gi nvidia.com/gpu: 1 # schedule only where a GPU is free volumeMounts: - name: models mountPath: /models # /health returns 503 while the model loads, 200 when ready. startupProbe: # allow up to 15 min for first download + load httpGet: { path: /health, port: http } periodSeconds: 10 failureThreshold: 90 readinessProbe: # only receive traffic when ready httpGet: { path: /health, port: http } periodSeconds: 10 livenessProbe: # restart if it hangs httpGet: { path: /health, port: http } periodSeconds: 30 timeoutSeconds: 5 failureThreshold: 3 volumes: - name: models persistentVolumeClaim: claimName: llm-models 在首次部署期间,节点需要拉取镜像并下载模型。2.6 GB 的镜像下载了大约 10 分钟。然后,容器启动后,llama-server 会下载模型,又花了将近 13 分钟。这就是为什么首次启动探针需要留出足够宽裕的时间预算。
Deployment 与一个 Service 配合使用,Service 是我们用来与 Pod 通信的接口。Service 为我们提供单一的 IP 和端口,并在运行 LLM 的各个 Pod 之间做基本的负载均衡。在 K3s 中,类型为 LoadBalancer 的 Service 会暴露在节点的 IP 上,因此 API 在我的家庭网络中可以通过 192.168.1.149:8080 访问。 apiVersion: v1 kind: Service metadata: name: llm namespace: llm spec: type: LoadBalancer selector: app: llm ports: - name: http port: 8080 targetPort: http 环境变量从 ConfigMap 加载。模型参数就放在这里:使用哪个模型、上下文大小、卸载多少 GPU 层等等。llama-server 会将任何 LLAMA_ARG_* 环境变量读取为命令行参数,因此整个模型配置都集中在一个文件里。这是初始配置,使用 Qwen3.5 4B 模型,上下文大小为 32,768 个 token:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。