返回资讯中心
外部精选
软件工程
#开发者实时流

研究团队将110亿参数视觉语言模型部署到手机上

来源标题:From research to reality: Fitting an 11B VLM on a phone

研究团队通过3D向量量化和量化感知训练,成功将110亿参数的视觉语言模型跑在Android手机上。其S3D8格式在矩阵向量乘法中达到33.8 GMAC/s,高于INT8的26.5 GMAC/s。直接量化到2.7比特/参数会使模型在下游任务上准确率归零,需借助QAT恢复性能。

Hacker News 最新peter_d_sherman2026/11/15 · 2 天前4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

使用3D向量量化相比1D格式能带来显著的保真度优势(见论文),并且使用小型查找表可以实现快速的寄存器内表查找以进行解码。例如,我们的基准测试显示,在Android手机上运行一个4096维INT8激活向量与4096 x 14336矩阵之间的矩阵-向量乘积,INT8矩阵达到26.5 GMAC/s,而S3D8达到33.8 GMAC/s。之所以能实现这一加速,是因为S3D8额外的解压缩开销被从内存加载权重时节省的带宽所抵消。

将每个权重张量简单“直接转换”量化到最接近的S3D8值会彻底破坏模型,在4个下游任务上准确率均为零。这是因为量化到2.7比特/参数过于激进,模型没有机会调整权重来恢复性能。

因此,我们采用量化感知训练(QAT)来恢复量化模型的性能。QAT在前向传播中对模型进行量化,并在反向传播中将梯度通过量化操作传递以调整权重,训练它们复现原始未量化模型的输出。虽然这项技术非常有效,但我们发现它对训练期间使用的输入分布非常敏感。

我们开发了一种采样流程,首先采样用户提示,将其作为三个组成部分的组合:模板、可选指令和问题。然后从非量化教师模型中采样一个补全。相比更基础的流程,这显著提升了下游任务的性能(见论文)。

综合来看,我们的方法显著优于其他格式和量化流程:

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →