
GPUWorks 发布 40 MB GPU 集群管理器,无需 K8s 即可部署 vLLM/SGLang
来源标题:Show HN: GPUWorks – A 40 MB GPU cluster manager for vLLM/SGLang, no K8s needed
GPUWorks 是一个 40 MB 的轻量级 GPU 管理与 MaaS 平台,可跨公有云和私有云组成单一集群,并支持多种加速器混用。它通过一条命令接入 GPU 服务器或 Mac,自动估算显存、选择 GPU 并启动 vLLM、SGLang 等推理引擎,提供兼容 OpenAI 的端点。内置目录覆盖 392 个模型的 1235 个启动配置,NVIDIA、AMD、华为昇腾、Apple Silicon 等可在同一集群并行运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个40 MB的MaaS平台:跨越公有云和私有云的单一集群,可运行在任何加速器组合之上。
GPUWorks是一个超轻量级的GPU管理与Model-as-a-Service(MaaS)平台。整个控制平面(包括Web UI)的下载包只有40 MB。用一条命令即可接入你自己的GPU服务器、租用的云实例或容器,或者一台Mac;选定模型后,GPUWorks会估算所需内存、挑选GPU、启动vLLM、SGLang或推理模板定义的任意引擎(Strata、ninfer……),并通过一个OpenAI兼容端点对外提供服务。
NVIDIA、AMD Instinct和Ryzen AI Max、华为昇腾、平头哥PPU、海光DCU以及Apple Silicon可以在同一集群中并行运行。
容量池是核心:目前支持裸金属服务器、公有云实例和私有云VM,后续将接入Kubernetes集群和Slurm分区。在此之上,GPUWorks现在提供模型服务,未来将在同一批加速器上运行微调与训练任务。
经过验证的模型×加速器组合可一键部署。内置目录为392个模型提供了1,235个启动规格:每种GPU类型对应的镜像、引擎、参数和固定权重版本。我们在真实NVIDIA、AMD、昇腾、PPU和Apple硬件上运行过的组合,都附带经过验证可用的启动设置,因此你只需选模型、按部署,而不必再四处翻找参数。支持Qwen、DeepSeek、GLM、Kimi、MiniMax、Llama、Gemma、gpt-oss,以及embedding、rerank、语音、图像和视频模型。
异构加速器,统一调度器。NVIDIA、AMD、昇腾、PPU、海光和Apple Silicon节点加入同一集群;调度器会将每个部署匹配到其启动规格所支持的硬件。
公有云与私有云共处一池。从RunPod、CompShare、AutoDL、Vast.ai和阿里云同步实例,或从ZStack Cloud同步VM,一键安装agent,即可与你自己的服务器一起调度。
超轻量。服务端和agent各自是一个静态二进制文件(CGO_ENABLED=0);服务端内嵌Web UI(英文/中文)和所有平台的agent,状态保存在一个SQLite文件中。agent通过WebSocket向外拨号,因此节点无需开放入站端口(对于无法向外连接的节点,也可由服务端向内拨号)。在阿里云上的一次演练中,一台服务器管理了横跨7个区域的1,003台租用GPU机器:4分钟内完成500多个副本的放置并启动运行,通过网关处理2,000个并发请求,服务端峰值占用9个CPU核心和1.6 GB内存。
内存估算与可解释的放置。在启动任何东西之前,你就能看到权重、KV cache和引擎开销各需要多少GPU内存,调度器选了哪些GPU,以及其他GPU为何被排除。
在多个模型间共享一块GPU。dGPU为每个实例设置硬性内存配额,从而让多个模型共用一张卡(NVIDIA通过HAMi-core,昇腾通过vCANN,PPU通过HGGC,海光通过hy-smi虚拟设备)。睡眠/唤醒功能让vLLM模型在NVIDIA、昇腾、PPU和海光上轮流使用同一批GPU。
横向扩展。跨节点副本、多节点张量/流水线并行,以及prefill/decode分离(NVIDIA上为vLLM + NIXL,昇腾上为vLLM-Ascend + Mooncake,PPU上为SGLang或vLLM + Mooncake,支持单机内或经RDMA)。
OpenAI兼容网关。在/v1下提供chat、completions、embeddings、rerank、audio、images、video和realtime;/v1/messages和/v1/responses透传。支持最少请求、前缀亲和或故障转移路由,API key,以及按key统计token用量。
掌握运行状况。GPU和引擎指标、可搜索日志、带时间线的逐请求追踪(OTLP导出)、进入主机和容器的Web终端,以及内置的基准测试工具,可扫描并发并找出SLA极限。
AI助手与MCP。在UI中就集群提问,或将Claude Code / 任意MCP客户端连接到只读MCP端点。
支持离线环境。从归档文件或HTTP文件服务器导入镜像和模型,并在节点之间同步模型。
快速开始
-
在Linux主机(x86_64或arm64)或Apple Silicon Mac上安装服务端: bash <(curl -fsSL https://dl.gpuworks.ai/get.sh) 该脚本会选择最快的下载源(包括中国大陆的镜像),校验checksum并运行安装程序,后者会配置一个监听8800端口的服务,并打印URL和管理员密码。加上--quiet可接受所有默认值。如需自行检查每一步,请按照手动安装说明操作。
-
添加GPU节点。打开Web UI,进入Compute nodes → Add node,在GPU主机上运行生成的命令: curl -fsSL http://<server>:8800/install.sh | sh -s -- --server http://<server>:8800 --token <node-token>
-
部署模型。打开Deploy,选择一个模型(例如Qwen/Qwen3-1.7B)和一个推荐的推理模板,查看配置评估(内存估算与放置),然后部署。接着在API Tokens下创建一个推理token,并用其公开模型名调用模型: curl http://<server>:8800/v1/chat/completions
-H "Authorization: Bearer gw-..." -H "Content-Type: application/json"
-d '{"model": "qwen3-1.7b
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。