
MoEShift 让 Mac 本地运行 1250 亿参数模型,峰值内存不到 10GB
来源标题:M4 Pro vs. M5 Pro (24GB): Qwen 3.8 Flash Next at 374 Tok/S Prefill with MoEShift
MoEShift 在苹果芯片上实现 1250 亿参数大模型的本地推理,峰值进程内存控制在 10GB 以下。在 24GB 统一内存的 M4 Pro Mac mini 上,它运行 Qwen 3.8 Flash Next 的峰值内存约为 Strata 的一半,长提示词处理速度快 2.6 倍。目前该项目处于 alpha 阶段,核心运行时可用,支持 Qwen 3.8 Flash Next 与 Qwen3.6-35B-A3B 等模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
大模型跑在你的 Mac 上。起步只需 10 GB 内存。
1250 亿参数。最高每秒 11 个 token。峰值进程内存不到 10 GB。MoEShift 针对 Apple Silicon 做了优化:在配备 24 GB 统一内存的 Mac mini M4 Pro 上,它运行 Qwen 3.8 Flash Next 时的峰值进程内存约为 Strata 的一半,处理长 prompt 的速度快 2.6 倍。MoEShift 为你其他应用留出空间,让 Mac 在推理期间保持响应,而不是在内存压力下卡死。模型工作时你可以继续浏览网页、写作和写代码——全部在本地完成,无需云订阅。
Qwen 3.8 Flash Next 通过 MoEShift 在本地运行,并连接到 OpenCode。
Alpha 版本。核心运行时已经可用,项目正在快速演进。你可能会遇到一些粗糙之处;你的反馈将帮助塑造下一个版本。
已测试的模型和量化版本列在下面。
模型
GGUF 架构
已测试量化
Qwen 3.8 Flash Next (125B)
qwen4exp
ISTA-DASLab GSQ-RCO IQ3_XXS
Qwen3.6-35B-A3B
qwen35moe
UD Q6_K XL(Q6_K/Q8_0 experts)
两者在 Apple Silicon 上都使用共享的 SSD expert 运行时。参见支持的架构。
与 Strata 的对比——Strata 是本地 MoE 推理的热门选择——在配备 24 GB 统一内存的 Mac mini M4 Pro 上进行。两者都运行 Qwen 3.8 Flash Next (125B)、ISTA-DASLab GSQ-RCO IQ3_XXS,使用 8,192 token 上下文,无缓存 prompt token,输出 256 个 token。Strata:0.2.7,build 0.1.52。
时间包括服务器测量的 prompt 处理和生成时间,不含启动时间。内存为 macOS footprint -p 峰值物理进程内存。
在同一台配备 24 GB 统一内存的 Mac mini M4 Pro 上运行 UD Q6_K XL。预热后三次测量运行的中位数,无缓存 prompt token,输出 512 个 token,使用 benchmark runner。
这些运行使用的输出长度与上面的 Flash Next 对比不同。
一台搭载 Apple Silicon(M 系列)的 Mac。
至少 10 GB 内存。
一块快速 SSD,且空间足以容纳 GGUF 和准备好的 expert 文件:下面的 Flash Next 配置至少需要 120 GB,Qwen3.6 UD Q6_K XL 需要 61 GB。
Homebrew,macOS 的包管理器。如果你从未用过它,请按照其安装说明操作,然后回到这里。
快速安装
打开终端并运行:
brew install davide-troiani/moeshift/moeshift
moeshift
首次启动会打开设置向导。你只需选择模型:它会从 HuggingFace 下载模型(使用 hf 加快下载速度)并自动配置 MoEShift。
更想自己配置或试用你自己的模型?选择手动配置。参见配置参考。
curl http://127.0.0.1:8080/v1/chat/completions
-H 'Content-Type: application/json'
-d '{"model":"qwen-3.8-flash-next-rco-gsq-iq3-xxs
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。