
vLLM 跨两台 Nvidia DGX Station 部署 GLM-5.3,输出达 607.8 tok/s
来源标题:Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM
借助 vLLM 的张量并行(TP=2),GLM-5.3 NVFP4 被部署在通过 ConnectX-8 RDMA 互联的两台 Nvidia DGX Station 上,对外提供单一 OpenAI 兼容端点,输出吞吐峰值达 607.8 tokens/s。该 MoE 模型拥有 7530 亿参数、每 token 激活约 400 亿,需约 464 GB 显存,超过单块 GB300 的 252 GB HBM3e。在并发 32 时吞吐降至 385.0 tokens/s,平均请求延迟为 453.5 秒。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 生成的摘要 GLM-5.3 NVFP4 是一个经过量化的混合专家模型,拥有 7530 亿参数,每个 token 激活 400 亿参数,需要约 464 GB 的 GPU 内存,超过了单块 GB300 GPU 上 252 GB 的 HBM3e 容量。 两台通过 ConnectX-8 RDMA 连接的 NVIDIA DGX Station 借助张量并行(TP=2)通过一个 OpenAI 兼容端点共同服务该模型,每块 GPU 持有并计算大约一半的权重。 vLLM 在兩台 Station 上启动分布式服务,支持多 token 预测、FP8 KV-cache 存储和前缀缓存,以在并发负载下最大化吞吐量。 在 SPEED-Bench Coding 数据集上进行的 AIPerf 基准测试显示,整体输出吞吐量在并发数为 16 时达到峰值 607.8 tokens/s,随后在并发数为 32 时降至 385.0 tokens/s,平均请求延迟为 453.5 秒。 后续步骤 按照 Connect Two DGX Stations 操作手册连接并验证硬件,然后再进行部署。 查看 NVIDIA Local AI recipe 仓库,获取最新推荐配置。 使用 vLLM 服务文档连接应用,并用自定义提示重新运行 AIPerf,以找到该工作负载的最佳并发数。 由 NVIDIA Nemotron 提供支持。AI 生成的内容可能不完整地概括信息。请核实重要信息。了解更多 在本地运行前沿规模的模型意味着要将其全部权重保留在 GPU 内存中;最大的模型已无法容纳在单台机器上。两台通过 ConnectX-8 RDMA 连接的 NVIDIA DGX Station 通过一个端点服务同一个模型,张量并行将模型权重和计算拆分到两块 GPU 上。 NVIDIA GLM-5.3 NVFP4 模型是 Z.ai 的混合专家(MoE)模型的量化版本,拥有 7530 亿参数,每个 token 激活 400 亿参数。稀疏激活减少了计算量,但所有模型权重仍需保持可用,因为每个 token 可能被路由到不同的专家。检查点大小约为 464 GB,超过了单块 GB300 GPU 上 252 GB 的 HBM3e 容量。本教程使用两台 DGX Station 将权重保留在 GPU 内存中,并禁用 CPU 权重卸载。 开始之前,请使用 Connect Two DGX Stations 操作手册连接两台 Station。 本文介绍如何使用 vLLM 在两台 NVIDIA DGX Station 上本地服务 GLM-5.3、发送请求,并测量并发负载下的行为。张量并行(TP=2)将模型的张量拆分到两块 GB300 GPU 上。两台 Station 都会计算每个请求,Station A 通过一个 OpenAI 兼容 API 返回答案。最终,你将获得一个可用的端点,以及它在负载下行为的基线。 图 1. 两台 Station 服务一个模型:每块 GPU 通过选定的 RDMA 连接持有并计算模型的一部分。它们的内存保持独立 前提条件 两台运行 Linux 的 GB300 DGX Station,已使用 Connect Two DGX Stations 操作手册连接并验证,包括其在两条 rail 上的 GPU 内存 RDMA 测试。 两台 Station 上均具有 SSH 和 sudo 访问权限,且使用相同的 Linux 用户名。Docker 和 NVIDIA Container Toolkit 随 DGX Station 软件栈预装。允许对容器注册表、Hugging Face 和软件包仓库的出站访问。 每台 Station 上至少有 464 GB 的可用磁盘空间,用于存放各自的检查点副本,另需为 vLLM 容器镜像和临时文件留出空间。 接受 NVIDIA Open Model Agreement 和模型卡上列出的原始 GLM-5.3 许可条款。SPEED-Bench 受 NVIDIA Evaluation Dataset License Agreement 管辖。 一个 Hugging Face 账户和读取访问 token,并具有对受限数据集 cais/hle 的访问权限:登录、打开其页面,然后选择 Agree and access repository。第 5 步会从该数据集下载 SPEED-Bench 提示。 配套视频遵循相同的工作流程。 本教程使用另一台计算机(例如你的笔记本电脑)来管理两台 Station。首先从该计算机打开到每台 Station 的 SSH 会话。或者,在每台 Station 的本地终端上操作。除非命令以“On A”开头,否则请在两台 Station 上运行本步骤中的每条命令。 两台 Station 以不同角色运行相同的容器和检查点:Station A(rank 0)承载 API,Station B(rank 1)仅运行 worker,不包含 API 服务器。 首先,检查 Docker 访问权限并收集稍后将使用的网络值: docker version ibdev2netdev ip -br addr 注意:如果 docker version 的输出中没有 Server 部分,则客户端无法连接到 Docker 守护进程。如果错误为权限被拒绝,请按照 Docker 安装后步骤操作:使用 sudo usermod -aG docker "$USER" 将你的用户添加到 docker 组,运行 exit,然后重新连接并重新运行 docker version。docker 组授予 root 级权限。 ibdev2netdev 的输出列出了两条直连 rail:cx8r0 和 cx8r1。选择一条用于服务流量,例如 cx8r1,并在每台 Station 上为它记录两件事: rail 名称和设备在两台 Station 上相同;只有 IPv4 地址不同。 接下来,在每台 Station 上创建 ~/glm53.env。该文件存储后续命令使用的值: nano ~/glm53.env 粘贴以下内容块,并将每个 <...> 占位符(保留引号)替换为你记录的值。 RANK="<NODE_RANK>" # RANK="0" on Station A, RANK="1" on Station B HEAD_IP="<STATION_A_IPV4_ADDRESS>" # IPv4 address you noted on Station A; same in both files WORKER_IP="<STATION_B_IPV4_ADDRESS>" # IPv4 address you noted on Station B; same in both files RAIL_IFACE="<RAIL_NAME>" # Rail you picked, for example cx8r1; same in both files RAIL_HCA="<RDMA_DEVICE>" # RDMA device you noted, for example mlx5_1; same in both files IMG=vllm/vllm-openai:v0.30.0-aarch64 IMG+=@sha256:4864d46625cbc3307623e29ac742030655e27249feba7b97ec925ce4cc4dfb56 MODEL_REPO=nvidia/GLM-5.3-NVFP4 MODEL_REV=e3b8f9f2fad29727dfa95e766c5cac18ea1414bf MODEL_HOST="$HOME/models/GLM-5.3-NVFP4" CONTAINER=glm53-full PORT=8000 if [ "$RANK" = 0 ]; then NODE_IP=$HEAD_IP; PEER_IP=$WORKER_IP else
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。