MAPLE 压缩技术让 6GB 笔记本 GPU 以 45 TPS 运行 Gemma 4 26B
来源标题：Show HN: Maple – Run Gemma 4 26B on a 6GB Laptop GPU at 45 TPS (Sub-2-BPW)
开源项目 MAPLE 通过流形激活剪枝，将 128 专家的 Gemma 4 26B 压缩至 4.75 GB（1.48 有效 BPW），使 6GB 笔记本 GPU 能以 45 TPS 全显存运行该模型。它利用 llama-imatrix 统计路由频率与激活强度，每层剪除 80 个休眠专家并动态重索引，再用 IQ2_XXS 量化保留的 48 个专家张量。成果为单个 4.75 GB 二进制，支持 llama.cpp、Ollama 等 GGUF 原生执行，彻底消除 PCIe 内存分页停顿。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
Manifold-Activated Pruning of Latent Experts（MAPLE）可将 128 专家的细粒度 MoE 架构压缩到 4.75 GB（1.48 有效 BPW），彻底消除 PCIe 系统内存分页停顿。 消费级笔记本在运行未压缩的 26B 模型时，不可避免地会溢出到系统内存，走带宽受限的 PCIe 通道。 14 层被卸载到系统内存。受限于 15.75 GB/s 的 PCIe 总线带宽。 100% 显存内执行。专用 192 GB/s GDDR6 总线，零主机内存分页。 为什么简单粗暴地移除专家会毁掉模型，以及流形激活分析如何保住技术推理能力。 MAPLE 让多领域校准语料跑过 Gemma 4，通过 llama-imatrix 精确捕获 token 到专家的路由分发频率与激活幅度。 基于累积流形能量阈值，每层剔除 80 个休眠专家。路由器 logits 被动态重新索引，在保留的 48 个专家之间分发。 保留的专家张量切片使用重要性矩阵权重量化为 IQ2_XXS 块表示，将完整的 26B 模型打包成单个 4.75 GB 二进制文件。 原生 GGUF 执行，直接支持 llama.cpp、Ollama 和 LM Studio。
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。