返回资讯中心
外部精选
软件工程
#开发者实时流

GPUWorks 发布 40 MB GPU 集群管理器,无需 K8s 即可部署 vLLM/SGLang

来源标题:Show HN: GPUWorks – A 40 MB GPU cluster manager for vLLM/SGLang, no K8s needed

GPUWorks 是一个 40 MB 的轻量级 GPU 管理与 MaaS 平台,可跨公有云和私有云组成单一集群,并支持多种加速器混用。它通过一条命令接入 GPU 服务器或 Mac,自动估算显存、选择 GPU 并启动 vLLM、SGLang 等推理引擎,提供兼容 OpenAI 的端点。内置目录覆盖 392 个模型的 1235 个启动配置,NVIDIA、AMD、华为昇腾、Apple Silicon 等可在同一集群并行运行。

Hacker News 最新wangweinoo12026/11/4 · 13 天前29 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个40 MB的MaaS平台:跨越公有云和私有云的单一集群,可运行在任何加速器组合之上。

GPUWorks是一个超轻量级的GPU管理与Model-as-a-Service(MaaS)平台。整个控制平面(包括Web UI)的下载包只有40 MB。用一条命令即可接入你自己的GPU服务器、租用的云实例或容器,或者一台Mac;选定模型后,GPUWorks会估算所需内存、挑选GPU、启动vLLM、SGLang或推理模板定义的任意引擎(Strata、ninfer……),并通过一个OpenAI兼容端点对外提供服务。

NVIDIA、AMD Instinct和Ryzen AI Max、华为昇腾、平头哥PPU、海光DCU以及Apple Silicon可以在同一集群中并行运行。

容量池是核心:目前支持裸金属服务器、公有云实例和私有云VM,后续将接入Kubernetes集群和Slurm分区。在此之上,GPUWorks现在提供模型服务,未来将在同一批加速器上运行微调与训练任务。

经过验证的模型×加速器组合可一键部署。内置目录为392个模型提供了1,235个启动规格:每种GPU类型对应的镜像、引擎、参数和固定权重版本。我们在真实NVIDIA、AMD、昇腾、PPU和Apple硬件上运行过的组合,都附带经过验证可用的启动设置,因此你只需选模型、按部署,而不必再四处翻找参数。支持Qwen、DeepSeek、GLM、Kimi、MiniMax、Llama、Gemma、gpt-oss,以及embedding、rerank、语音、图像和视频模型。

异构加速器,统一调度器。NVIDIA、AMD、昇腾、PPU、海光和Apple Silicon节点加入同一集群;调度器会将每个部署匹配到其启动规格所支持的硬件。

公有云与私有云共处一池。从RunPod、CompShare、AutoDL、Vast.ai和阿里云同步实例,或从ZStack Cloud同步VM,一键安装agent,即可与你自己的服务器一起调度。

超轻量。服务端和agent各自是一个静态二进制文件(CGO_ENABLED=0);服务端内嵌Web UI(英文/中文)和所有平台的agent,状态保存在一个SQLite文件中。agent通过WebSocket向外拨号,因此节点无需开放入站端口(对于无法向外连接的节点,也可由服务端向内拨号)。在阿里云上的一次演练中,一台服务器管理了横跨7个区域的1,003台租用GPU机器:4分钟内完成500多个副本的放置并启动运行,通过网关处理2,000个并发请求,服务端峰值占用9个CPU核心和1.6 GB内存。

内存估算与可解释的放置。在启动任何东西之前,你就能看到权重、KV cache和引擎开销各需要多少GPU内存,调度器选了哪些GPU,以及其他GPU为何被排除。

在多个模型间共享一块GPU。dGPU为每个实例设置硬性内存配额,从而让多个模型共用一张卡(NVIDIA通过HAMi-core,昇腾通过vCANN,PPU通过HGGC,海光通过hy-smi虚拟设备)。睡眠/唤醒功能让vLLM模型在NVIDIA、昇腾、PPU和海光上轮流使用同一批GPU。

横向扩展。跨节点副本、多节点张量/流水线并行,以及prefill/decode分离(NVIDIA上为vLLM + NIXL,昇腾上为vLLM-Ascend + Mooncake,PPU上为SGLang或vLLM + Mooncake,支持单机内或经RDMA)。

OpenAI兼容网关。在/v1下提供chat、completions、embeddings、rerank、audio、images、video和realtime;/v1/messages和/v1/responses透传。支持最少请求、前缀亲和或故障转移路由,API key,以及按key统计token用量。

掌握运行状况。GPU和引擎指标、可搜索日志、带时间线的逐请求追踪(OTLP导出)、进入主机和容器的Web终端,以及内置的基准测试工具,可扫描并发并找出SLA极限。

AI助手与MCP。在UI中就集群提问,或将Claude Code / 任意MCP客户端连接到只读MCP端点。

支持离线环境。从归档文件或HTTP文件服务器导入镜像和模型,并在节点之间同步模型。

快速开始

  1. 在Linux主机(x86_64或arm64)或Apple Silicon Mac上安装服务端: bash <(curl -fsSL https://dl.gpuworks.ai/get.sh) 该脚本会选择最快的下载源(包括中国大陆的镜像),校验checksum并运行安装程序,后者会配置一个监听8800端口的服务,并打印URL和管理员密码。加上--quiet可接受所有默认值。如需自行检查每一步,请按照手动安装说明操作。

  2. 添加GPU节点。打开Web UI,进入Compute nodes → Add node,在GPU主机上运行生成的命令: curl -fsSL http://<server>:8800/install.sh | sh -s -- --server http://<server>:8800 --token <node-token>

  3. 部署模型。打开Deploy,选择一个模型(例如Qwen/Qwen3-1.7B)和一个推荐的推理模板,查看配置评估(内存估算与放置),然后部署。接着在API Tokens下创建一个推理token,并用其公开模型名调用模型: curl http://<server>:8800/v1/chat/completions
    -H "Authorization: Bearer gw-..." -H "Content-Type: application/json"
    -d '{"model": "qwen3-1.7b

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →