
LookAtMyQuant 将 Qwen3.5-4B 压缩至 1.23GB 并保持数学能力
来源标题:Inkling-2-Mini in 5.4 GB Memory
LookAtMyQuant 2 把 Qwen3.5-4B 量化到 1.23 GB(每权重 2.3 比特),在 540 道精确答案数学题中解出 330 道,略高于 Prism ML 的 Bonsai 2 Ternary 4B 的 328 道。该方法采用 trellis 码后训练量化,按 Fisher 信息逐行分配比特,并进行 4000 步蒸馏,GPU 成本约 34 美元。该 1.23 GB 文件以 lm2-qwen35-4b-1.2gb 发布,面向 Apple Silicon 运行时打包。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
LookAtMyQuant 是一个量化编译器。它衡量模型里每一块存储的数据在被压缩后对输出造成多大损害,然后为每一块挑选一种编码方式,使整个模型在满足体积预算的前提下损伤最小。
在 Gemma 4 E2B 上,它的 GGUF 在相同文件大小下,KL 比 Q4_K_M 低 12 倍。方法和全部结果都在网站上。
LookAtMyQuant 2 把 Qwen3.5-4B 压到 1.23 GB,每权重 2.3 比特。该文件解出 540 道有确定答案的数学题中的 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,原始模型解出 359 道。在留出文本上,它相对原始模型的 KL 为 0.45 nats,而 Bonsai 为 0.59。
配方是带 trellis 码的训练后量化,用模型自己解出的数学题做校准,其中数字 token 权重放大 10 倍,并按 Fisher 信息逐行分配比特。随后进行 4,000 步蒸馏,每一步都对每一层从原始权重重新量化一次。页面上有各项发现、完整配方及其成本——约 34 美元的 GPU 时间。
配方的代码在这里,下一节会运行它。1.23 GB 的文件本身是 lm2-qwen35-4b-1.2gb 发布版,为 Apple Silicon 运行时打包。
同一配方把 Qwen3.8-27B 从 53.7 GB 压到 7.2 GB,每权重 2.1 比特,用英文散文与聊天、代码和数学做校准与蒸馏。该文件解出 540 道数学题中的 401 道,与原始模型一样多,而 Unsloth 同尺寸的 UD-IQ2_XXS GGUF 解出 348 道。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上的得分也高于那个 GGUF。
旁边还有一个 4 比特 DSpine drafter(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 用 runtime_mlx/convert_dspine.py 转换,并用 pack_drafter.py 打包),在 Apple silicon 上让数学和代码的解码速度大约翻倍。
同一个编译器加上近端微调(SQYFR),扩展到 26.4B 物理 / 5.4B 激活的 3 次循环 MoE(L6–17 循环 3 次 = 48 次逻辑访问,128 专家 top-8),把 thinkingmachines/Inkling-2-Mini 从 18.89 GB 的文本权重压到 5.38 GB(1.63 比特/权重)和 8.87 GB(2.69 比特/权重),用的是 4 KB SRAM 哈希块向量 trellis 码(ht2/ht3)、行 trellis 码(rtr1/rtr4),以及尾部 lm_head 桶(head.7)上的 tr2 下限。
在同一个 BF16 教师模型上评估:openai/gsm8k(test[:200],贪心,reasoning_effort="none")、全部 164 道可执行的 openai/openai_humaneval 题、4 项 Vision VQA 测试(带未改动的 637 MB BF16 视觉塔),以及 16+13 语言的 TextMix 窗口:
在 5.38 GB 下,Inkling-2-Mini-LookAtMyQuant-5.4GB 在体积小 41% 的情况下,GSM8K 和 HumanEval 两项都超过 Unsloth 的 9.14 GB UD-Q2_K_XL(未调优时为 76/200 和 24/164)。在 8.87 GB 下,Inkling-2-Mini-LookAtMyQuant-8.9GB 在 GSM8K 上与 BF16 原始模型持平,并在英文/聊天/代码上把 KL 降低 2.34 倍,在全部 13 种语言上比 UD-Q2_K_XL 低 29.6%。两者都通过 lamq 和 runtime_mlx 直接运行,使用定制的 Apple Silicon Metal kernel,可选搭配 178.9 MB 的 4 比特 DSpark drafter:在 M5 Max 上,5.4 GB 版本串行解码 73.2 tok/s、中位数 125.2 tok/s(数学 141.8 tok/s、推理 129.0 tok/s、代码 121.4 tok/s、散文 102.3 tok/s;T=512 时 prefill 1,037 tok/s,活跃内存 5.83 GB),8.9 GB 版本串行解码 63.1 tok/s、中位数 101.3 tok/s(推理 133.9 tok/s、数学 118.9 tok/s;T=512 时 prefill 838 tok/s,活跃内存 9.32 GB)。
在 Apple silicon 上,直接安装运行时包(这一步会安装 mlx、mlx-lm、numpy 和 huggingface-hub,不带 PyTorch 编译器依赖):
pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
从本地克隆安装时,pip install -e . 会安装 lamq 命令,或者不安装直接运行 python -m runtime_mlx。
命令行。传入本地模型文件夹或 Hugging Face repo ID:
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB
-p "What is 17 times 23? Show the steps."
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
-p "Write a Python function that merges overlapping intervals." --stats
lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB
--drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter
-p "What is 17 times 23? Show the steps." --stats
lamq generate 在省略 -p 时读取 stdin,支持 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model> 可在不加载权重的情况下查看打包模型的格式和维度。
Python 集成。runtime_mlx.load 返回 (model, tokenizer) 对,兼容 mlx_lm.generate 和 mlx_lm.stream_generate(自动识别 opgraph-packed-1 模型,如 Qwen3.5-4B / Qwen3.8-27B,以及 lamq.json 导出,如 Gemma 4 E2B):
from mlx_lm import generate from runtime_mlx import load
model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。