返回资讯中心
外部精选
软件工程
#开发者实时流

InferSSD 让消费级硬件运行 800B 参数大模型

来源标题:Running 800B-parameter LLMs on consumer hardware with InferSSD

开源推理运行时 InferSSD 通过在 NVMe 存储上保留路由专家权重,让消费级电脑也能运行 763B、816B 级别的大模型。在 RTX 5090 配 32GB 内存与显存的系统上,处理 DeepSeek 4K 提示时预填充速度为 164.5 tokens/s,生成速度为 7.27 tokens/s;48GB 内存的 M5 Max MacBook Pro 预填充为 26.270 tokens/s,解码为 2.704 tokens/s。该运行时基于 llama.cpp 构建,保留 GGUF 文件、浏览器聊天和 OpenAI 兼容 API。

Hacker News 最新andyxukq2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

有些大型开放权重模型所需的内存超出消费级计算机的提供能力。DeepSeek-V4.1-Flash-1017 和 Muse-Spark-Open 分别属于 763B 和 816B 级别。即便采用本地推理所用的格式,其权重也占据数百 GB 空间。笔记本或台式机 GPU 的内存只能容纳其中一小部分。

InferSSD 将路由专家权重保存在 NVMe 存储上,并在推理过程中读取模型选中的工作集。注意力、共享计算和动态 KV 缓存仍保留在 RAM 或 VRAM 中。

InferSSD 是一个基于 llama.cpp 构建的开源推理运行时。它保留 GGUF 文件、浏览器聊天和 OpenAI 兼容 API,并为专家索引、I/O、缓存和执行提供了明确路径。它沿用了 The SSD Is the New VRAM 以及联合 SGLang SSD Expert Pack 工作的思路。本文介绍这一设计,以及在 Apple Silicon 和 NVIDIA 系统上目前记录的结果。

在一台配备 32 GB 系统内存和 32 GB VRAM 的 RTX 5090 上,InferSSD 处理 DeepSeek 4K 提示词档位时达到 164.5 tokens/s,生成速度为 7.27 tokens/s。在一台 48 GB 的 M5 Max MacBook Pro 上,当前摘要报告 prefill 为 26.270 tokens/s,decode 为 2.704 tokens/s。RTX 5060 Ti 系统配备 8 GB 系统内存和独立的 16 GB VRAM,达到 75.1 和 2.55 tokens/s。

以下表格使用当前 README 基准快照。Prefill 是提示词处理吞吐量。Decode 是在 256 token 输出的第 129–256 个 token 上测得的。4K 标签描述输入档位;实际 token 数取决于聊天模板。

对于 816B 的 Muse-Spark-Open 模型,RTX 5090 达到 106.6 tokens/s prefill 和 1.520 tokens/s decode。DGX Spark 达到 83.9 和 2.140 tokens/s。MacBook Pro 记录为 12.480 和 0.944 tokens/s。Decode 吞吐量决定生成输出的等待时间,而 prefill 吞吐量决定输入的处理速度。

N/S 表示所测试的 Colibri 版本不支持 Muse。这并不是零吞吐量结果。Mac Muse 基线是历史数据,使用不同的模板和输入长度。

参与基准测试的 MacBook Pro 配备 2 TB 内置 SSD 和 48 GB 统一内存。两套 RTX 系统使用 2 TB 致态 TiPro9000 硬盘,5060 Ti 系统通过 PCIe 4.0 ×4 连接,5090 系统通过 PCIe 5.0 ×4 连接。DGX Spark 配备 128 GB 统一内存和 4 TB 三星 SSD。CPU、内存、硬盘、连接方式和缓存预算都会影响结果。产品页面包含完整的硬件表。

这些测量报告的是完整推理配置的吞吐量。不同的后端、权重格式、批处理、缓存和生成续写内容,使得无法将差异归因于任何单一优化。

在 Mac DeepSeek 上,GGUF 引擎使用 Metal 并将路由专家交给 CPU,而所测试的 Colibri 配置使用 CPU 和官方 Safetensors 检查点。在 Mac Muse 上,llama.cpp 基线使用不同的模板和输入长度。Linux 数据是测试者报告的摘要。方法论将当前摘要与历史运行产物区分开来;较早的计时日志不能作为较新摘要值的证据。

5090 上 DeepSeek 的速率相对于该系统中记录的 llama.cpp 速率,相当于 prefill 20.41 倍、decode 8.39 倍。这些比值仅适用于该模型、该机器和该测试配置。模型加载、源码准备和首次启动时的硬件分析不属于服务吞吐量。

该引擎已预编译并随应用打包。

用于路由专家权重的 SSD 存储

NVMe 存储为超出机器内存的模型提供容量,但其带宽低于 RAM,且 NAND 闪存有有限的编程/擦除预算。访问模式决定了这种容量能发挥多大作用。

KV 缓存存储处理对话时产生的状态,并随着 token 增加而增长。将这种变化的状态卸载到 SSD 可能引入大量写入。Gandalf [1] 是一项关于 SSD 支持的 KV 缓存的研究,它考察了这一耐久性问题,并使用应用感知的缓存准入来减少写入。InferSSD 的专家权重路径处理的是不同的工作负载:读取在整个推理过程中保持固定的模型参数。

混合专家模型将每个 token 路由到其专家的一个子集。总专家集合可能远大于一次计算所需的集合。InferSSD 利用这一区别将模型容量与工作内存分开。

专家权重在推理期间是静态的。设置完成后,专家路径读取选定的字节范围并复用缓存的权重。提示词批处理将一次权重读取分摊到选择同一专家的多个 token 上。缓存命中避免另一次 SSD 读取,执行可以利用权重已经所在的那个处理器。

共享层、注意力和活动 KV 缓存仍需要工作内存。内存预算必须覆盖这些分配,以及临时激活和专家缓冲区。将专家权重保留在 SSD 上消除了在 RAM 或 VRAM 中持有整个专家集合的要求;推理工作负载的其余部分仍必须放得下。

这需要对有限的带宽预算进行仔细管理。仅靠存储容量并不决定 token 速度:实际获取的数据量、缓存复用、批形状、CPU 计算以及向 GPU 内存的传输都很重要。

DeepSeek 版本的 763B 标签描述的是其发布的检查点。记录的文本 GGUF 包含 748.49B 参数,省略了视觉和 MTP/DSpark 模块。其 Q8_0 标签涵盖混合的张量格式:路由专家保留 MXFP4,而其他张量包括 Q8_0、BF16 和 F32。Muse 使用 Unsloth UD-Q4_K_XL GGUF 转换。

专家打包复制现有的量化专家负载,不进行进一步量化。这并不会使文本 GGUF 与完整发布的检查点完全相同,也不能确立不同格式之间输出质量相等。模型引用和转换细节是基准定义的一部分。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →