oMLX 0.7.4 开发版发布：用第二台 Mac 加速本地大模型预填充，提速 2.9 倍

代码 Issues 340（340） Pull requests 200（200） Discussions Actions Projects Security and quality Insights 更多项目 发布版本 v0.7.4.dev1 0.7.4.dev1 最新 最新 比较 选择一个标签进行比较 抱歉，出了点问题。 筛选 加载中 抱歉，出了点问题。 哎呀！ 加载时出错。请重新加载此页面。 v0.7.4.dev1 4213c32 此提交已使用提交者的已验证签名签署。 jundot Jun Kim SSH 密钥指纹：+H1liWt+jzKMeH61Iq2vhBdv3tORPm0rBXwDcq+m+gA 已验证 了解 vigilant 模式。 oMLX 0.7.4.dev1 这是一个开发版本。请通过 GitHub Issues 报告任何 bug。如果你需要稳定版本，请使用 oMLX 0.7.3。 oMLX 0.7.4.dev1 允许一台配备快速 GPU 的第二台 Mac 为一款只能装在你那台大内存 Mac 上的模型加速 prefill，并让 DeepSeek V4.1 和 Qwen3.8 Flash-Next 运行得更快。 下载：macOS 26 / 27 | macOS 15 Sequoia 大型 MoE 模型可以装进像 M3 Ultra 512GB 这样大内存的 Mac，但长 prompt 的 prefill 在那里很慢。将它和一台 GPU 更快的 Mac（比如 M5 Max）配对，由快的那台 Mac 运行每个 prompt 分块的前几层，大内存 Mac 运行其余层、执行 decode 并保留 KV cache。Decode 速度保持不变，Thunderbolt 或 5GbE 就足够了，不需要 RDMA（#5065）。 64K prompt 下的 prefill tok/s：M3 Ultra 512GB 单独运行，以及用 M5 Max 作为加速器时。 要进行设置，请在两台 Mac 上开启 Global Settings > Advanced > Enable Distributed Inference，在 Cluster 标签页中配对并选择 Prefill Accelerator，然后在模型设置中的 Acceleration 下选择那台 Mac（指南）。 Prefill 现在在整个层循环中维护一个有界缓冲池，而不是在每层之后把每个缓冲区都交还给 Metal，这让它在 M5 Ultra 上快了 43-48%（@junmo-kim 在 #5031 中）。在 M5 上，使用 MXFP4 experts 和 MXFP8 dense weights 的 oQ4e 构建也支持 INT8 Activation Prefill（#5058），并且全新 shader cache 上的首次 decode 不再需要等待数百个 kernel 编译（@junmo-kim 在 #5025 中）。 FP16 Qwen3.8 Flash-Next checkpoint 现在会运行此前只有 BF16 才使用的融合 hyper-connection 和 GDN kernel，并且开启 Lightning MTP 时的 greedy 输出与关闭 MTP 时一致（#5028，与 @qoli 合作）。在 128 GB Mac 上，Qwen3.8 Flash-Next、GLM-5.3 和 DeepSeek V4.1 等模型在内存压力下仍能保持较宽的 prefill 分块，因此连续的长 prompt 不再变慢（@yohann-bearzi 在 #4902 中）。在 M5 Max 上，长 prompt 之后的 decode 也快了 3-5%（@yohann-bearzi 在 #4901 中）。 加载中 哎呀！ 加载时出错。请重新加载此页面。