返回资讯中心
外部精选
软件工程
#社区热议

新技术可一键将任意LLM压缩3倍,内存占用低于50MB

来源标题:Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM

一种新方法可在内存占用低于50MB的情况下,一键将任意大语言模型压缩约3倍且接近无损。该方案针对边缘设备部署LLM时的内存墙瓶颈,即GPU算力增长远快于显存带宽、导致7B参数模型以FP16精度运行时系统即告崩溃。原文未披露具体实现细节与方法名称。

Hacker Newsanushka_gandhi2026/11/10 · 7 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

要理解生成式人工智能模型为何在边缘设备上慢得令人痛苦,必须超越算法抽象,直面数字硅芯片底层的固态物理现实。以典型的机器学习工作站或消费级笔记本为例,它搭载了NVIDIA GeForce RTX 3050 Ti Mobile(GA107硅片)这类现代图形处理器。纸面上看,这款处理器令人惊叹:它拥有2,560个CUDA核心和80个第二代Tensor Core,在半精度浮点运算下提供29.8 TFLOPS的聚合计算密度。理论上,它每秒能执行近三十万亿次数值计算。

然而,当工程师尝试以未压缩的FP16精度部署一个仅70亿参数的语言模型时,系统立刻崩溃。

根本原因在于内存墙:一种严重的物理不对称——GPU芯片上的计算密度按照摩尔定律指数级增长,而将数字从动态随机存取存储器(GDDR6显存)传送到算术逻辑单元的 external 内存接口却已触及热学和电信号传输的硬性极限。在消费级硅片上,该接口通常为128位宽,提供192.0 GB/s的聚合内存带宽。

自回归生成中的算术强度现实 在自回归token生成过程中,语言模型一次只输出一个token($M = 1$)。为了预测那一个token,GPU无法跨序列批次复用已加载的权重。它必须将网络中每一个参数矩阵从高延迟的全局显存扫入片上寄存器文件。对于单个token,运算的算术强度降至每加载一字节约1 FLOP。

在192.0 GB/s的带宽下,读取一个未压缩的14 GB模型一次需要约73毫秒。这将生成的物理理论天花板限制在每秒不到14个token,使GPU超过95%的计算Tensor Core完全处于数据饥饿状态,在字节流经铜走线时闲置空转。

更糟的是,消费级边缘GPU具有严格的物理显存限制,通常上限为4GB(3,770.6 MiB可寻址上限)。由于14 GB或7 GB的模型在物理上无法塞进4GB显存,传统执行框架会通过PCIe扩展总线将层卸载到主机系统RAM。标准PCIe Gen3 x4连接提供约3.94 GB/s的有效传输速率。跨此总线卸载参数会导致生成速度骤降至每秒0.28个token:对于交互式语音接口、自主机器人或实时电信而言,这是不可用的延迟。

此前的训练后量化方案(如GPTQ、AWQ和SmoothQuant)试图将权重压缩到4位表示,但引入了三个关键的架构瓶颈:

SPECTRA通过一个与架构无关的框架解决了这些约束,该框架基于香农信源编码理论、免校准拓扑显著性提取、Group-32微缩放以及寄存器融合的Triton GPU内核。

全面分类学将SPECTRA核心子系统映射到数学原理与执行硬件。

要理解为何传统压缩格式无法将神经网络缩小到内存墙以下,我们通过经典信息论考察位精确表示的理论极限。根据克劳德·香农1948年里程碑式的信源编码定理,无损编码离散符号序列$W$所需的最小期望码长$L$严格受其香农熵$H(W)$约束:

在现代基础模型中,学习到的权重张量以IEEE 754半精度(FP16)或Brain Floating Point(BF16)格式存储。一个16位浮点数可分解为1位符号$s \in {0, 1}$、$E$位指数$e \in {0, 1}^E$和$M$位小数有效数或尾数$m \in {0, 1}^M$:

跨越深层参数流形的经验熵审计揭示了这些字段信息密度的根本结构性不对称:

将这些分量求和表明,浮点权重张量的聚合离散熵在BF16中约为10.5位,在FP16中约为13.5位。因此,任何通用或浮点无损比特流压缩器(如zstd、LZ4或fpzip)从根本上受限于以下无损压缩比:

由于无损压缩无法超过$1.52\times$,介于$2.80\times$和$3.31\times$之间的压缩比在数学上要求转向香农率失真理论($R(D)$)。在率失真理论下,连续权重分布被映射到离散微缩放状态,同时约束功能任务失真。

为分析不可逆张量压缩,我们考察连续率失真函数$R(D)$,它刻画了在期望失真阈值$D$内表示源分布所需的最小比特率$R$:

在由裁剪阈值$\alpha$和组步长$\Delta = \frac{2\alpha}{2^b - 1}$参数化的实用均匀$b$位量化中,总期望失真$D(\Delta, \alpha)$分解为两个不同分量:

当学习到的权重张量呈现重尾(峰度$\kappa \gg 3.0$)时,这种失真权衡会灾难性地崩溃。增大$\alpha$以涵盖极端离群坐标会加大量化步长$\Delta$,从而在分布的稠密主体上膨胀颗粒舍入失真$D_{\text{granular}} \propto \Delta^2$。反之,限制$\alpha$以约束$\Delta$会导致裁剪过载失真$D_{\text{clipping}}$在重尾坐标上爆炸。

我们现在建立三个形式化数学命题,分别支配SPECTRA引擎中的通道离群值隔离、Group-32重建误差界以及闭式高斯噪声预测。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →