返回资讯中心
外部精选
软件工程
#开发者实时流

研究团队在廉价退役GPU上扩展大模型推理基准测试

来源标题:Scaling "E-Waste": Benchmarking LLMs on Multiple Cheap GPUs

一项针对退役企业级GPU的LLM推理测试新增了130多项基准,并加入功耗监测以比较不同多卡配置的效率。研究此前发现,三四块廉价16GB GPU可持续叠加、性能近似线性提升,使本地运行超过100亿参数模型成为可能。这些显卡因运行温度高且不带散热器而价格低廉,作者正为其开发独立主动散热器并招募测试者。

Hacker News 最新eso_logic2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上次的关键发现是:在这个由退役企业级硬件构成的世界里,三卡和四卡配置反直觉地能够抵御收益递减。在 homelab GPU 设备中,你只需持续增加 GPU 就能按比例扩展性能。考虑到较老的约 16GB GPU 成本低廉,这使得参数量超过约 10B 的单卡模型所能承载的 LLM,进入了本地日常使用的可行范围。

为了更好地理解多 GPU 如何处理多样化的工作负载,我扩展了我们的基准测试工具,新增了 130 多项专为 LLM 定制的测试。根据评论者的要求,我还集成了功耗监控,以便比较不同配置的效率。详细结果和分析随后奉上。

再次重申:这些卡之所以便宜,是因为它们运行温度高且出厂不带散热,这对典型的二手市场买家来说是无法接受的。支撑所有这些研究的项目一直是我独立设计的主动散热器,它已接近发布。如果你有兴趣通过压力测试样品来帮助推动它跨过终点线,我将通过邮件列表招募 beta 测试者。

新测试与功耗 结果 最大模型参数量 LLM 吞吐量 Qwen 2.5 Gemma 4 Qwen 3.6 张量分割模式 LLM 结论 对比现代显卡 功耗 结论与下一步

新测试与功耗

本项目的核心基准测试套件 gpu_box_benchmark 进行了一次重大更新,以支持这项分析。新增了单独的测试,用于获取以下模型在常见量化(Q4、Q8、F16)和上下文深度(4k、32k、64k、128k)下的生成速度:

此外,我还添加了测试,用于检查给定配置在不同上下文深度下所能容纳的最大参数量,以及测试使用 llama.cpp 的张量分割模式的效果。所有参数并不等同,但这是一个很好的比较基准。

结果

与上次(改变 CPU、改变主板)不同,本轮基准测试在所有运行中保持主板和 CPU 不变。主板是 Supermicro X10DRG-Q,CPU 是 2 颗 E5-2687W 12 核 Intel CPU。

对于 GPU,我在九种不同的硬件配置上运行了完整套件:

我为这次测试所拥有的硬件是随时间慢慢积累起来的。我的每套配置价格并不完全反映你今天在 eBay 上能找到的价格。以下是我为组件支付的价格:

这些价格导致下面基准测试的不同配置的大致 BOM 成本:

最大模型参数量

在我们深入吞吐量之前,我想先指出一个与模型大小相关的有趣现象。这项测试的工作原理是尝试将逐渐增大的 LLM 加载到 GPU 上,并记录能够产生任何输出 token 的最大模型。

这一结果表明,3xK80 和 3xP100 都能至少从 72B 参数模型中输出一些 token。之前我曾得出结论,我们的老朋友 K80 确实已经彻底死了,但它可能仍然有用于非常缓慢地评估大型 LLM。理论上可以使用转接卡在一个系统中装入超过 4 块 K80 来达到这个目的,但我不认为这是我近期会尝试的事情。我的目标仍然是为机架打造一台独立的 4U GPU Box。

显然,上下文深度和量化在争夺同一份 VRAM,但看到两者在这里如何相互作用很有趣。如果你的应用可以接受很小的 4k 上下文窗口,而你只有两块 16GB GPU(P100、V100-16GB),你的模型可以从约 15B 参数一路跳到 32B。

LLM 吞吐量

在上一篇文章的不同讨论区(/r/homelab、/r/LocalLLaMA、hackernews、level1forum)中,许多人希望看到模型大小、量化和上下文深度的分布。我最终选定的模型集是:

对于每个模型系列,下面的图表是生成 tok/s,因为上次我们发现提示处理始终快得多,以至于成了事后才考虑的问题。

图表本身在轮播中,所以请滑动查看不同模型大小的结果。

Qwen 2.5

Qwen 2.5 3B @ 4K 上下文深度是本文讨论的最轻负载,它为所有配置创下了速度记录。单块 V100-16GB 可以达到 178 tok/s,单块 K80 可以达到 17 tok/s。

只有 P100 和 K80 能使用 Qwen 2.5 72B,只有 K80 能使用 32k 上下文深度。重申我之前的观点,1-5 tok/s 更像是个派对把戏,而非严肃用途。

Gemma 4

Gemma 4 8B 与该系列其他模型以及与其他被基准测试的模型系列相比,表现非常奇怪。没有 K80 配置能够产生 token。我也复查了这一点,我得到的是类似 OOM 的失败模式,与其他失败类似。

此外,Gemma 4 8B 在从两卡到三卡时存在严重的收益递减效应。这里测试的其他模型都没有如此剧烈的效应。该效应通常是约 5 tok/s,而不是我们在这里看到的约 60。

Gemma 4 26B 给我的印象是一个"快"模型。看看 128k 上下文深度下的 Q8 量化,2xV100 产生 70 tok/s,而在相同参数下它们从 Qwen 2.5 3B 获得 80 tok/s。在我看来,为了有效性提升那么多,付出 10 tok/s 的代价是很小的。

Gemma 4 31B 是另一个案例,3xK80 配置的原始 VRAM 容量能够产生一些非常缓慢的输出,而其他卡则无法做到。

该系列中多个模型(8B、12B)在两卡上就能达到最大量化和上下文深度,这一点也值得注意。

Qwen 3.6

截至撰写本文时,我正在 3xV100 上日常使用 Qwen 3.6 35B。70+ tok/s 的交互体验令人愉悦,该模型足够可用,让我能完成工作。这是我第一次坚持使用本地模型超过一个月左右,而且我实际上认为它的表现与未加约束的 API 模型不相上下。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →