
两台NVIDIA DGX Station搭配vLLM,GLM-5.3吞吐达607.8 tok/s
来源标题:Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM
GLM-5.3 NVFP4模型经两台NVIDIA DGX Station通过ConnectX-8 RDMA互联、以vLLM张量并行(TP=2)部署,推理吞吐在并发16时达到峰值607.8 tokens/s。该模型为7530亿参数的量化MoE模型,每token激活400亿参数,需约464 GB显存,超过单块GB300 GPU的252 GB HBM3e。并发升至32时吞吐降至385.0 tokens/s,平均请求延迟453.5秒。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 生成的摘要
GLM-5.3 NVFP4 是一个量化后的混合专家模型,拥有 7530 亿参数,每个 token 激活 400 亿参数,需要约 464 GB 的 GPU 显存,超过了单块 GB300 GPU 上 252 GB 的 HBM3e 容量。
两台 NVIDIA DGX Station 通过 ConnectX-8 RDMA 互联,借助张量并行(TP=2)通过一个 OpenAI 兼容端点共同服务该模型,每块 GPU 持有并计算大约一半的权重。
vLLM 在两台 Station 上启动分布式服务,支持多 token 预测、FP8 KV-cache 存储和前缀缓存,以在并发负载下最大化吞吐量。
在 SPEED-Bench Coding 数据集上进行的 AIPerf 基准测试显示,整体输出吞吐量在并发数为 16 时达到峰值 607.8 tokens/s,随后在并发数为 32 时降至 385.0 tokens/s,平均请求延迟为 453.5 秒。
后续步骤
按照 Connect Two DGX Stations 操作手册连接并验证硬件,然后再进行部署。
查阅 NVIDIA Local AI recipe 仓库,获取最新推荐配置。
参照 vLLM 服务文档接入应用,并用自定义 prompt 重新运行 AIPerf,以找到该工作负载的最佳并发数。
由 NVIDIA Nemotron 提供支持。AI 生成的内容可能不完整地概括信息。请核实重要信息。了解更多
在本地运行前沿规模的模型,意味着要把它的全部权重都保留在 GPU 显存中;而最大的模型已经无法放进单台机器。两台通过 ConnectX-8 RDMA 互联的 NVIDIA DGX Station 通过一个端点共同服务一个模型,张量并行将模型权重和计算拆分到两块 GPU 上。
NVIDIA GLM-5.3 NVFP4 模型是 Z.ai 的混合专家(MoE)模型的量化版本,拥有 7530 亿参数,每个 token 激活 400 亿参数。稀疏激活减少了计算量,但全部模型权重仍然需要保持可用,因为每个 token 都可能被路由到不同的专家。该 checkpoint 约为 464 GB,超过了单块 GB300 GPU 上 252 GB 的 HBM3e 容量。本教程使用两台 DGX Station 将权重保留在 GPU 显存中,并禁用 CPU 权重卸载。
开始之前,请使用 Connect Two DGX Stations 操作手册连接两台 Station。
本文介绍如何用 vLLM 在两台 NVIDIA DGX Station 上本地服务 GLM-5.3、发送请求,并测量其在并发负载下的表现。张量并行(TP=2)将模型的张量拆分到两块 GB300 GPU 上。两台 Station 共同计算每个请求,由 Station A 通过一个 OpenAI 兼容 API 返回答案。完成本教程后,你将获得一个可用的端点,以及它在负载下行为表现的基线。
图 1. 两台 Station 服务一个模型:每块 GPU 通过选定的 RDMA 连接持有并计算模型的一部分。两者的内存保持独立
前提条件
两台运行 Linux 的 GB300 DGX Station,已通过 Connect Two DGX Stations 操作手册完成连接和验证,包括其在两条链路上的 GPU 显存 RDMA 测试。
两台 Station 上均具备 SSH 和 sudo 访问权限,且使用相同的 Linux 用户名。Docker 和 NVIDIA Container Toolkit 已随 DGX Station 软件栈预装。允许对容器镜像仓库、Hugging Face 和软件包仓库的出站访问。
每台 Station 上至少有 464 GB 的可用磁盘空间,用于存放各自的一份 checkpoint,另需为 vLLM 容器镜像和临时文件留出空间。
接受 NVIDIA Open Model Agreement 和模型卡上列出的原始 GLM-5.3 许可条款。SPEED-Bench 受 NVIDIA Evaluation Dataset License Agreement 约束。
一个 Hugging Face 账户和读访问 token,并具有对受限数据集 cais/hle 的访问权限:登录、打开其页面,然后选择 Agree and access repository。第 5 步会从该数据集下载 SPEED-Bench prompts。
配套视频遵循相同的工作流程。
本教程使用另一台计算机(例如你的笔记本电脑)来管理两台 Station。首先从该计算机分别打开到每台 Station 的 SSH 会话。或者,也可以在各 Station 的本地终端上操作。本步骤中的每条命令都要在两台 Station 上运行,除非命令以“On A”开头。
两台 Station 以不同角色运行相同的容器和 checkpoint:Station A(rank 0)承载 API,Station B(rank 1)仅运行 worker,没有 API 服务器。
首先,检查 Docker 访问权限,并收集稍后会用到的网络参数:
docker version ibdev2netdev ip -br addr
注意:如果 docker version 的输出中没有 Server 部分,说明客户端无法连接到 Docker 守护进程。如果错误为 permission denied,请按照 Docker 安装后步骤操作:用 sudo usermod -aG docker "$USER" 将你的用户加入 docker 组,运行 exit,然后重新连接并再次运行 docker version。docker 组会授予 root 级权限。
ibdev2netdev 的输出列出了两条直连链路:cx8r0 和 cx8r1。选择其中一条用于服务流量,例如 cx8r1,并在每台 Station 上记下它的两项信息:
链路名称和设备在两台 Station 上相同;只有 IPv4 地址不同。
接下来,在每台 Station 上创建 ~/glm53.env。该文件用于存储后续命令要用的值:
nano ~/glm53.env
粘贴下面的内容块,并将每个 <...> 占位符(保留引号)替换为你记录的值。
RANK="<NODE_RANK>" # RANK="0" on Station A, RANK="1" on Station B HEAD_IP="<STATION_A_IPV4_ADDRESS>" # IPv4 address you noted on Station A; same in both files WORKER_IP="<STATION_B_IPV4_ADDRESS>" # IPv4 address you noted on Station B; same in both files RAIL_IFACE="<RAIL_NAME>" # Rail you picked, for example cx8r1; same in both files RAIL_HCA="<RDMA_DEVICE>" # RDMA device you noted, for example mlx5_1; same in both files IMG=vllm/vllm-openai:v0.30.0-aarch64 IMG+=@sha256:4864d46625cbc3307623e29ac742030655e27249feba7b97ec925ce4cc4dfb56 MODEL_REPO=nvidia/GLM-5.3-NVFP4 MODEL_REV=e3b8f9f2fad29727dfa95e766c5cac18ea1414bf MODEL_HOST="$HOME/models/GLM-5.3-NVFP4" CONTAINER=glm53-full PORT=8000 if [ "$RANK" = 0 ]; then NODE_IP=$HEAD_IP; PEER_IP=$WORKER_IP else
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。