返回资讯中心
外部精选
软件工程
#开发者实时流

开发者在32GB M1 Max上用不到16GB内存运行120B MoE模型

来源标题:I ran 120B MoE models on my 32GB M1 Max using under 16 GB

开发者通过将MoE模型大部分权重留在SSD、按需加载并限制进程内存,在32GB内存的M1 Max上以16GiB内存预算运行了gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上,其引擎平均速度达7.84 tokens/s,高于TUFF 10.2.2的5.78 tokens/s。该原型还包含浏览器聊天界面和OpenAI兼容本地API,但引擎代码尚未发布。

Hacker News 最新tarassenkov2026/11/9 · 8 天前15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我一直在尝试在我的 MacBook Pro 上运行大语言模型。这台机器是 M1 Max 加 32GB 内存,所以一个 60GB 的模型显然不可能完整放进内存。

我想看看换一种思路能走多远:把混合专家(MoE)模型的大部分放在 SSD 上,需要什么就调入什么,并且给推理进程能用的内存设一个实打实的上限——不是配置文件里写个数字,而是能拿 macOS 自己的内存计数器去核对的那种。

最后我做出了一个原型,能在 16 GiB 的进程内存预算下运行 gpt-oss-120b 和 Qwen3.5-122B-A10B。它还带了一个小型浏览器聊天界面和一个兼容 OpenAI 的本地 API。引擎代码我暂时不发布,但我想分享结果,以及——也许更重要的是——我一路踩过的坑。

在 gpt-oss-120b 上,使用原始 MXFP4 专家权重和 BF16 非专家权重,我在同一台 Mac 上把我的引擎和 TUFF 10.2.2 做了对比。我先确认权重一致:抽查了 144 个专家张量做逐字节比对,471 个非专家张量全部与 TUFF 加载的文件一致。

在八条 prompt、三轮交替测试中,我的引擎平均 7.84 tokens/s,TUFF 是 5.78 tokens/s。在这个设置下大约快 36%。每条 prompt 上都体现出了优势,只是幅度不同。

当另一个进程占用笔记本部分内存时,差距进一步拉大。那个进程占用 4 或 8 GiB,并且每五秒触碰一次它分配的所有页。每个档位我重复测试三次,交替安排两个引擎谁先运行。

在 4 GiB 竞争负载下,我的引擎速度损失约 3%;TUFF 损失约 23%。到 8 GiB 时,两者都受影响——在 32GB 的机器上这在意料之中。

乍看之下,TUFF 在活动监视器里显得轻得多:进程占用约 7.4 GiB,而我的引擎是 15.6 GiB。但这不是全貌。

测试期间,TUFF 用模型数据填满了 macOS 文件缓存中的 14.5–15.2 GiB,系统级压缩内存从空闲时的大约 2.4 GiB 升到 9.3–9.6 GiB。我的引擎则让模型文件缓存几乎保持为空,压缩内存维持在空闲水平附近。两者都让系统可用内存减少了大约 17–18 GiB,也都没有导致 swap 使用量上升。

我还测量了那个竞争进程遍历自己 4 GiB 分配内存所需的时间。我的引擎运行时,中位数是 4 ms;TUFF 运行时是 352 ms。95 分位值分别是 146 ms 和 606 ms。

这个结果是我没预料到的。我最初是想让模型跑得更快,但对笔记本来说,机器的其余部分是否保持响应,可能同样重要。

这也有局限:在 8 GiB 竞争内存使用下,两个引擎都让另一个进程变慢了(中位数约 1.3 秒)。这并不是说我的引擎凭空变出了额外的物理内存。

有一个早期基准测试看起来比实际要好。macOS 悄悄把大约 8 GB 的模型数据放在操作系统的文件缓存里,不在推理进程的占用范围内。我以为自己在测 SSD 读取,但其中一些读取其实来自内存。

修正测试设置后,性能下降了。从那以后,我用 mincore 检查模型文件的驻留情况,用内核计数器和 iostat 核对磁盘流量,并用 macOS 内核测量而非仅靠 RSS 来确定进程的物理占用。

正确性是另一个无底洞。一个 MLX 乘法 kernel 可能根据专家张量在内存中的排布方式走不同的数值路径。我在前缀缓存复用上还有一个差一 token 的 bug。这两个 bug 都足够隐蔽,普通聊天输出看起来完全正常。

我现在会把完整生成的回答与未修改的 mlx-lm 对比,使用相同的输入 token 和 prefill/缓存调度。在当前参考测试集中,每个 120B 级模型的 9 个测试用例全部 9/9 匹配,包括生成的 token ID 和 logits 的哈希。我还对 gpt-oss 跑了 200 次请求的压力测试(17,952 次匹配的 MoE decode 校验)和 100 次取消重试循环,没有发现数据损坏。这些是测试结果,不是对任意输入都逐位精确的证明。

这仍然只是一台 Mac、一次一个请求,而且主要是 decode 基准测试。TUFF 是通过其 CLI 加显式缓存设置运行的,因为它的服务器自动配置在我的机器上无法服务这个模型。我的引擎则作为常驻 API 服务器运行。TUFF 还会追加自己的 system prompt,所以我们没有比较它回答的文本内容。早期的一次单次运行测试显示,TUFF 对长 prompt 的 prefill 更快,大约快 39%。

我也吃了苦头才明白为什么比较不同量化是不靠谱的。我最初的对比用 8-bit 非专家权重,而 TUFF 用 BF16,表面上速度优势更大。上面的结果是后来用匹配的 BF16 非专家权重做的测试。项目早期阶段的 Qwen 速度测量没有包含在这次正面对比中;在一次拖慢其 prefill 的正确性修复之后,它们需要重新测一遍。

专家 offloading 本身并不新鲜。我并不声称自己发明了它。我的重点一直是让它能配合当前的大型 MoE 模型工作,让内存预算保持可预测,并验证输出确实与参考实现一致。

我想在其他 Apple Silicon 机器上测试这个,尤其是不同内存容量和 SSD 速度的机器。我也想和其他推理后端做一次独立对比。到目前为止,所有数字都来自我自己的笔记本、脚本和日志。

我还在决定这个项目接下来怎么办。我可以继续开发,找有兴趣一起做的人,或者先把它当作一个实验放一段时间。眼下,我觉得这些结果值得分享。

如果你从事本地推理、MoE 模型或 Apple Silicon 相关的工作,我很想听听你接下来会测什么。我也愿意聊聊独立评估或合作。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →