Maple 剪枝方案让 Gemma 4 26B 在 6GB 显卡上以 45 TPS 运行

面向混合专家（MoE）大语言模型的亚 2-BPW 结构化压缩

将 Gemma 4 26B-A4B 从 9.92 GB 压缩至 4.75 GB（等效 1.48 比特/参数），使 6 GB 笔记本 GPU 能够 100% 在显存内完成 GPU 执行，吞吐量达 45.4 Tokens/秒。 作者：Aman Sachan（Google Scholar | amansachan92905@gmail.com） 组织：Independent Systems Research 模型定位： 这个 4.75 GB 的 checkpoint 专门针对 Python 编程、算法合成、数据结构与形式化 STEM 推理进行了性能分析与剪枝。 通过剔除 80 个休眠的多语言与通用对话专家，活跃的 48 专家流形在完整装入消费级 6 GB 显存的同时，保留了演绎推理与语法生成能力。 MAPLE 剪枝流水线与领域无关，可使用本仓库中的脚本应用于任意专业领域（例如医学、金融、法律分析或创意写作）： 预构建并已验证的 4.75 GB GGUF 容器托管于 Hugging Face： llama-cli
-hf AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF
-ngl 99
-c 2048
-n 512
--temp 0.4
--top-p 0.9
--repeat-penalty 1.1
-r "<turn|>"
-p "<|turn>user\nExplain why the sky is blue using Rayleigh scattering.\n<turn|>\n<|turn>model\n" （llama-cli 会直接从 Hugging Face 下载 4.75 GB 的 GGUF 容器，并将全部 30 层分配到 GPU 显存，达到 45.4 TPS）。 尽管全局多语言预训练需要 128–256 个专家来服务数百种人类语言和百科领域，但本地化的边缘部署（例如英语技术推理与代码生成）只会激活其中一小部分专家。 MAPLE 通过 llama-imatrix 对实时前向传播中的专家激活进行性能分析，发现这一潜在流形，并用复合频率-能量指标对专家打分： $$s_{e,l} = C_{e,l} \cdot \sqrt{\bar{\sigma}_{e,l} + \epsilon}$$ 应用于 Gemma 4 26B-A4B（128 个路由专家、30 层）时，MAPLE 每层剔除 80 个休眠专家，组装出优化的 48 专家 GGUF 容器，捕获了 79.88% 的活跃前向传播激活质量。 配置 模型大小 显存分配 卸载层数 生成速度 延迟 原始 128 专家基座（Gemma 4 26B-A4B） 9.92 GB 6,141 MiB（分页） 16 / 30 6.9 Tokens/秒 144.9 ms / token MAPLE 48 专家容器（Gemma 4 26B-A4B） 4.75 GB 4,180 MiB（100% 显存） 30 / 30 45.4 Tokens/秒 22.0 ms / token 提升 缩小 2.09 倍 显存 -32% 100% 在显存内 加速 6.57 倍 快 6.58 倍 任务级语义保真度基准 任务 领域 测试能力 保真度 T1：斐波那契 代码合成 def fibonacci, return, append, [0,1] 100% T2：二叉搜索树 数据结构 class Node, class BST, insert, search 75%（上下文 >= 500 时为 100%） T3：瑞利散射 物理推理 Rayleigh, wavelength, scattering, blue 100% T4：三段论逻辑 形式演绎 transitive, syllogism, set containment 100% 总体均值 93.8% 已克服的三种有记录失效模式 幽灵路由器（代理嵌入失效）：通过深层路由门投影第 0 层 token 嵌入来估计路由的做法失败了，因为非线性注意力偏移会将深层隐藏表示（$l \ge 10$）旋转到正交空间。MAPLE 通过 llama-imatrix 强制执行真实的前向性能分析。 级联归一化抑制：将专家缩放乘以 $0.795$ 以抵消 softmax 分母收缩，该效应在 30 层中级联放大（$0.795^{30} \approx 0.001$），导致残差流失效。缩放必须保持在 $1.0\times$。 DRY 采样器干扰：--dry-allowed-length 2 惩罚破坏了 Python 语法，因为它惩罚了必需的 2 字符关键字（def、if、in、+=）。标准 nucleus 采样恢复了语法保真度。 仓库结构 maple/ ├── README.md # 文档与基准 ├── LICENSE # Apache 2.0 许可证 ├── requirements.txt # Python 依赖 ├── run_maple.bat # Windows 交互式启动器 ├── upload_to_hf.py # Hugging Face Hub 上传工具 └── engine/ ├── maple_profile.py # 从 imatrix 打分并提取 top-48 专家 ├── maple_build.py # 切片并构建 4.75 GB GGUF 容器 ├── benchmark.py # 自动化 4 领域语义保真度测试套件 ├── chat.py # 带实时遥测的流式控制台 ├── calibration_corpus.txt # 多领域校准语料（1,979 tokens） └── expert_selection_map.json # 提取的 30 层经验专家索引 本地安装与交互式控制台

1. 依赖 pip install -r requirements.txt
2. 运行交互式聊天控制台 在 Windows 上： python engine/chat.py 模型下载链接（Hugging Face Hub） 压缩后的 4.75 GB GGUF 模型容器公开托管于 Hugging Face：