
同一块H100 GPU时租价差达4.57倍,最低2.69美元最高12.29美元
来源标题:The same H100 costs $2.69 or $12.29 an hour depending where you rent it
同为H100 SXM 80GB,按需租用价格最低为RunPod Community的每小时2.69美元,最高为Azure ND96isr_H100_v5的12.29美元,相差4.57倍。连续租一个月成本分别为1964美元和8972美元。报告按GPU型号与显存分组比较,避免将SXM、PCIe、NVL等不同产品混为一谈。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AWS、Azure 和各 neocloud 的按需 GPU 租赁价格,统一折算为每 GPU 每小时美元,并按相同 GPU 分组对比。
H100 SXM 80GB $/GPU-小时 一个月(730 小时) RunPod Community $2.69 $1,964 RunPod Secure $3.99 $2,913 AWS p5.48xlarge $6.88 $5,022 Azure ND96isr_H100_v5 $12.29 $8,972
同样一颗芯片,最便宜和最贵之间相差 4.57 倍。一块 GPU 连续跑一个月,费用是 $1,964 还是 $8,972,只取决于你在哪里租。
“一块 H100”其实是三种不同的产品。SXM 80GB、PCIe 80GB 和 NVL 94GB 都被当作 H100 来宣传,但它们的价格并不相同。把它们塞进同一张图里,会凭空造出一个本不存在的价差,所以这里的所有对比都限定在同一个(型号、显存)分组内。
同一家厂商内部也是如此:Azure 对同样的 A100 PCIe 80GB,按每 VM 一块、两块、四块 GPU 分别报价 $3.67、$4.78 和 $4.78 每 GPU 小时。这里的价差取的是各家获取指定 GPU 的最便宜途径,因此 Azure 与 Azure 之间的价差绝不会被当成市场价差。RunPod Secure 和 Community 按同一家公司计算。
这并不全是利润。从 Azure 的 ND 系列换到 RunPod Community,你要放弃的是:
如果你只在单个节点上做微调,那你是在为一个永远用不上的互连付费。如果你要跨 64 个节点训练,那便宜的那一行根本不是选项。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。