返回资讯中心
外部精选
软件工程
#开发者实时流

开源工具 vLLM-Deploy 发布:在 RunPod 上部署 vLLM 增加计费确认关卡

来源标题:Show HN: Deploy vLLM on RunPod with confirmation gates on every billable step

一款面向 RunPod GPU 的 Python CLI 工具 vLLM-Deploy 在 Hacker News 的 Show HN 板块发布,可在每个计费步骤前要求用户确认。该工具支持部署和拆除兼容 OpenAI 接口的 vLLM 服务,提供离线校验、销毁确认、健康检查与限流自动重试,覆盖 A40 至 B200 等 GPU 配置。

Hacker News 最新1solomoniw2026/11/3 · 14 天前17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在 RunPod GPU 上部署和拆除兼容 OpenAI 的 vLLM 服务器的安全、经过测试的 Python CLI。

GPU Pod 是计费资源。价格和可用性经常变化。部署前请立即查看 RunPod 的实时 GPU 价格。

  • 离线验证和脱敏的部署计划
  • 对计费创建和破坏性拆除设置显式确认关卡
  • RunPod REST v1 和 v2 Pod 载荷(v2 将于 2026-11-15 自动成为默认版本),并固定默认 vLLM 镜像
  • A40、L40S、A100、H100、H200 和 B200 GPU 配置
  • 在平台支持时使用受限权限的原子本地状态
  • 带有限超时的健康检查和模型就绪检查
  • 确定性的兼容 OpenAI 冒烟测试,可选 bearer 认证
  • 对缺失或已终止的 Pod 进行幂等删除
  • 当 RunPod 返回 HTTP 429 限流响应时自动退避重试
  • 类型化模块、mock 测试、严格 lint、格式化和类型检查

架构

flowchart LR CLI[Typer CLI] --> CFG[验证与配置] CFG --> PAYLOAD[载荷构建器] CLI --> API[RunPod REST 客户端] API --> RUNPOD[RunPod Pods API] CLI --> STATE[原子拆除状态] CLI --> READY[就绪与冒烟检查] READY --> VLLM[兼容 OpenAI 的 vLLM 端点] 加载中

有关设计边界和失败行为,请参见架构。

git clone https://github.com/1solomonwakhungu/runpod-vllm-deployer.git cd runpod-vllm-deployer python3 -m venv .venv source .venv/bin/activate python -m pip install . runpod-vllm --help

开发时,运行 make setup 而不是 python -m pip install ..

创建本地环境文件。它会被 Git 忽略。

cp .env.example .env

编辑 .env 并设置 RUNPOD_API_KEY。

生成离线计划。这不需要 API key,也不会发起网络请求。

runpod-vllm plan
--model ORG/MODEL
--gpu A40
--max-model-len 8192

创建 Pod。这会产生费用,并提示确认。

runpod-vllm --env-file .env deploy
--model ORG/MODEL
--gpu A40
--max-model-len 8192

等待 vLLM 并运行确定性冒烟测试。

runpod-vllm wait --timeout 900 runpod-vllm smoke-test

终止 Pod 并验证其不存在。

runpod-vllm --env-file .env destroy

对于无人值守的部署或拆除,只有在查看计划后才添加 --yes。

命令 网络 修改 RunPod 用途 plan 否 否 验证配置并打印脱敏载荷 deploy 是 是,计费 创建 GPU Pod 并立即保存拆除状态 status 是 否 检查记录的 Pod 并显示访问 URL wait 是 否 轮询 /health 和 /v1/models 直到就绪 smoke-test 是 否 发送四 token 的确定性聊天请求 list 是 否 列出活动 GPU Pod destroy 是 是 删除、验证不存在,然后移除匹配的状态

默认状态文件是 .runpod-vllm-state.json。当从同一目录运行多个部署时,请在命令前使用全局 --state-path PATH 选项。

如果创建后状态持久化失败,CLI 会打印带有返回 Pod ID 的显式恢复命令。请立即运行它以停止计费。

部署命令支持模型和修订选择、GPU 配置和数量、张量并行大小、上下文长度、GPU 内存利用率、dtype、量化、KV cache dtype、可信模型代码、推理解析器、容器和 Pod 卷大小、主机 CPU 和 RAM 最小值、云类型、数据中心限制、镜像覆盖、端口以及可重复的容器环境变量。

默认镜像是 vllm/vllm-openai:v0.19.1,之所以固定是因为用于验证本项目的技术参考部署使用的正是该镜像。用 --image REPOSITORY:TAG 覆盖它。latest 会被拒绝。

GPU 规格是近似值且因模型而异。创建 Pod 前请检查 checkpoint 文档、量化格式、上下文要求、张量并行兼容性和当前 RunPod 库存。配置名称并不保证模型能够适配。

有关完整选项参考和安全示例,请参见配置。

RunPod 已弃用 REST API v1(https://rest.runpod.io/v1),并将于 2026-11-15 停用它。在此之前,CLI 默认使用 v1,因此当前行为不变;从 2026-11-15 起,默认版本会自动切换到 v2,无需升级。要提前使用 v2,请使用全局选项或环境变量选择加入 REST API v2(https://api.runpod.io/v2):

runpod-vllm --api-version v2 plan --model Qwen/Qwen3-8B export RUNPOD_API_VERSION=v2

deploy 会在状态中记录版本,因此 status 和 destroy 会继续使用创建 Pod 时所用的 API,除非你显式传递 --api-version。从 2026-11-15 起,记录为 v1 的部署会自动迁移到 v2,Pod ID 相同。有关字段映射,请参见配置。

runpod-vllm --env-file .env status runpod-vllm --env-file .env destroy

destroy 会等待 Pod 不存在后再删除本地状态。404 被视为成功的幂等清理。仅使用 --pod-id POD_ID 从状态写入失败中恢复。

src/runpod_vllm/ CLI、验证、API、状态、载荷和就绪模块 tests/ 带 mock HTTP 行为的离线 pytest 套件 docs/ 面向任务的指南和设计说明 examples/ 仅占位符的命令和环境示例 scripts/ 仓库安全检查 skills/runpod-vllm-gpu-deploy/ 可移植 Agent Skill .claude/skills/runpod-vllm-gpu-deploy/ Claude Code 项目技能 .github/ Issue 模板、拉取请求模板和依赖更新

AI agent 技能

可移植 Agent Skill 可供支持 Agent Skills 约定的 agent 使用。Claude Code 会加载仓库本地项目技能。本地测试会保持它们的实质内容同步。

使用 skills CLI 安装可移植技能:

npx skills add 1solomonwakhungu/runpod-vllm-deployer --skill runpod-vllm-gpu-deploy

这会安装 agent 指令,而不是 Python 包。在使用 runpod-vllm 命令之前,请按照安装步骤操作。

make setup make check

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →