Maple 剪枝方案将 Gemma 4 26B 压缩至 4.75GB，可在 6GB 笔记本 GPU 上运行

面向混合专家（MoE）大语言模型的亚 2-BPW 结构化压缩 将 Gemma 4 26B-A4B 从 9.92 GB 压缩至 4.75 GB（每参数有效 1.48 比特），在 6 GB 笔记本 GPU 上实现 100% 显存内执行，吞吐量达 45.4 Tokens/秒。 作者：Aman Sachan（Google Scholar | amansachan92905@gmail.com） 组织：Independent Systems Research 模型定位： 这个 4.75 GB 的检查点专门针对 Python 编程、算法合成、数据结构和形式化 STEM 推理进行了性能分析与剪枝。 通过剔除 80 个休眠的多语言与通用对话专家，活跃的 48 专家流形得以保留演绎推理和语法生成能力，同时完全容纳于消费级 6 GB 显存之内。 MAPLE 剪枝流水线与领域无关，可使用本仓库中的脚本应用于任何专业领域（如医学、金融、法律分析或创意写作）： 预构建并已验证的 4.75 GB GGUF 容器托管于 Hugging Face： llama-cli
-hf AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF
-ngl 99
-c 2048
-n 512
--temp 0.4
--top-p 0.9
--repeat-penalty 1.1
-r "<turn|>"
-p "<|turn>user\nExplain why the sky is blue using Rayleigh scattering.\n<turn|>\n<|turn>model\n" （llama-cli 会直接从 Hugging Face 下载 4.75 GB 的 GGUF 容器，并将全部 30 层分配到 GPU 显存中，达到 45.4 TPS）。 虽然全局多语言预训练需要 128–256 个专家来服务数百种人类语言和百科领域，但本地化的边缘部署（例如英语技术推理和代码生成）只会激活专家中一个狭窄的子集。 MAPLE 通过 llama-imatrix 对实时前向传播中的专家激活进行性能分析，发现这一潜在流形，并用复合频率-能量指标对专家打分： $$s_{e,l} = C_{e,l} \cdot \sqrt{\bar{\sigma}_{e,l} + \epsilon}$$ 将该方法应用于 Gemma 4 26B-A4B（128 个路由专家，30 层）时，MAPLE 每层剔除 80 个休眠专家，组装出一个优化的 48 专家 GGUF 容器，捕获了 79.88% 的活跃前向传播激活质量。 配置 模型大小 显存分配 卸载层数 生成速度 延迟 原始 128 专家基础模型（Gemma 4 26B-A4B） 9.92 GB 6,141 MiB（分页） 16 / 30 6.9 Tokens/秒 144.9 ms / token MAPLE 48 专家容器（Gemma 4 26B-A4B） 4.75 GB 4,180 MiB（100% 显存） 30 / 30 45.4 Tokens/秒 22.0 ms / token 提升 缩小 2.09 倍 显存降低 32% 100% 显存内 加速 6.57 倍 快 6.58 倍 任务级语义保真度基准 任务 领域 测试能力 保真度 T1：斐波那契 代码合成 def fibonacci、return、append、[0,1] 100% T2：二叉搜索树 数据结构 class Node、class BST、insert、search 75%（上下文 ≥ 500 时为 100%） T3：瑞利散射 物理推理 Rayleigh、wavelength、scattering、blue 100% T4：三段论逻辑 形式演绎 transitive、syllogism、set containment 100% 总体均值 93.8% 已克服的三个有据可查的失败模式 幽灵路由器（代理嵌入失败）：通过深层路由门对第 0 层 token 嵌入进行投影来估计路由会失败，因为非线性注意力偏移会将深层隐藏表示（$l \ge 10$）旋转到正交空间。MAPLE 通过 llama-imatrix 强制进行真实的前向性能分析。 级联归一化抑制：将专家缩放系数乘以 $0.795$ 以抵消 softmax 分母收缩，但该效应在 30 层间累积（$0.795^{30} \approx 0.001$），使残差流失明。缩放系数必须保持为 $1.0\times$。 DRY 采样器干扰：--dry-allowed-length 2 惩罚会惩罚必需的双字符关键字（def、if、in、+=），从而破坏 Python 语法。标准核采样恢复了语法保真度。 仓库结构 maple/ ├── README.md # 文档与基准测试 ├── LICENSE # Apache 2.0 许可证 ├── requirements.txt # Python 依赖 ├── run_maple.bat # 交互式 Windows 启动器 ├── upload_to_hf.py # Hugging Face Hub 上传工具 └── engine/ ├── maple_profile.py # 从 imatrix 中评分并提取前 48 个专家 ├── maple_build.py # 切片并构建 4.75 GB GGUF 容器 ├── benchmark.py # 自动化 4 领域语义保真度测试套件 ├── chat.py # 带实时遥测的流式控制台 ├── calibration_corpus.txt # 多领域校准语料（1,979 tokens） └── expert_selection_map.json # 提取的 30 层经验专家索引 本地安装与交互式控制台

1. 依赖 pip install -r requirements.txt
2. 运行交互式聊天控制台 在 Windows 上： python engine/chat.py 模型下载链接（Hugging Face Hub） 压缩后的 4.75 GB GGUF 模型容器公开托管于 Hugging Face：