
NVIDIA 在 RTX Spark PC 上推进本地编程 AI 的质量与效率
来源标题:Advancing the Quality-Efficiency Frontier for Coding AI on Windows PCs
NVIDIA 称其 RTX Spark 平台可在 Windows PC 上以 128 GB 统一内存运行本地 MoE 编程模型,且不产生按 token 计费的云端费用。公司强调低比特计算是让更大模型和更长上下文落地本地的关键,但须在压缩精度时保住质量与响应速度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
由 NVIDIA RTX Spark 提供支持,我们正将不受计量限制的本地智能这一前景,带给日益苛刻的编码工作负载——让开发者更自由地在自己硬件上实验、委托任务和迭代,而无需按 token 支付云端费用。
能力强大的混合专家(MoE)模型正让这一机会变得切实可见。这些模型能够处理涵盖推理、实现、测试和调试的复杂编码任务,而效率方面的进步正将更多这样的能力带到本地设备上。凭借 128 GB 统一内存,RTX Spark PC 让我们得以提出一个关键问题:我们能在开发者的机器内交付多少有用的编码智能?
低比特计算是实现这一机会的关键使能因素。降低精度可减少模型内存需求,并能降低推理带宽需求,为更大的模型和更长的上下文创造空间。但更小并不自动意味着更好:实际收益取决于在协调模型精度、推理运行时、内核和内存管理的同时保持质量。目标是在可用资源内获得更有用的智能,而不是以牺牲准确性或响应速度为代价来减少比特数。
MAI-Code-1.1-Flash 将其权重占用从 16 位精度下的 276 GB 降至 53 GB 的混合精度检查点,在我们实测配置中,于 RTX Spark 上以 120K token 输入上下文实现了中位数 51.12 tokens/s 的吞吐。这表明模型与系统层面的进步如何能将更小的占用转化为更具能力的本地 AI。
MAI-Code-1.1-Flash 通过 GitHub Copilot 在设备端运行的演示 用户启动任务后,Copilot 会审计代码库中未使用的代码、导入、依赖和过时的功能标志,调查仓库中的发现,并生成可执行的清理计划,低比特模型在 RTX Spark PC 上本地运行。
在本地运行大型编码模型,需要在单台设备的预算内平衡质量、占用和响应速度。量化减少了每个权重占用的字节数,但目标模型、KV 缓存和运行时仍必须适配可用分配。由于每个 token 都会将活跃权重流经内存,设计还必须考虑内存带宽压力。
这些约束产生了三个相互耦合的问题。在模型层面,需要混合精度和仔细的校准,以在低比特量化下保持质量。在推理层面,低比特格式需要高效内核来提升响应速度。在系统层面,KV 缓存内存随上下文长度增长,并与模型权重争夺可用设备占用。
因此,实际目标并非简单地最小化精度。模型质量、权重与 KV 缓存占用以及解码响应速度,必须在可用设备资源内协同优化。MAI-Code-1.1-Flash 为这一方法提供了一个具体示例。
图 1. 实际的本地推理需要联合优化编码质量、内存占用和解码速度。
MAI-Code-1.1-Flash 是一个 1379 亿参数的混合专家模型。为实现实用的设备端编码,我们解决了三个相互耦合的挑战:容纳模型权重、加速解码,以及在设备内存预算内支持长编码上下文。量化将权重占用从 16 位精度下的大约 276 GB 降至 53.0 GiB(3.31 bpw),同时还开发了更紧凑的 46.1 GiB(2.87 bpw)变体。发布的 53.0 GiB 检查点可通过 Microsoft Foundry 获取,并作为 GitHub Copilot 中的本地模型提供;除非另有说明,它是本节系统测量的基线。
我们通过混合精度量化解决了第一个挑战——容纳模型权重。MoE 专家包含 MAI-Code-1.1-Flash 约 96.6% 的参数,因此主导其权重占用,但不同张量角色和层对量化的敏感度各不相同。为在保持编码质量的同时达到这些更小的占用,我们探索了由两个互补信号引导的精度分配:张量角色和校准推导的敏感度。
基于张量角色的分配为专家投影和其他模型组件分配不同的精度。在 Q2-XXS 中,专家门控和上投影占参数的 64.4%,每权重使用约 2 比特,而专家下投影占 32.2%,每权重使用约 4 比特。其余 3.4%——注意力、稠密前馈、嵌入、输出、路由和归一化权重——在需要的地方保留更高精度。所得权重产物占用 46.1 GiB,平均 2.87 bpw;这不包括 KV 缓存和其他运行时内存。
图 2. 量化敏感度因张量角色和层而异,这促使了非均匀精度分配。
校准推导的层敏感度提供了另一种生成候选分配的方式。量化误差取决于权重扰动和流经它的激活值:Δy = (ŵ − w)x。由于每个专家只看到路由给它的 token,我们在保留观测到的路由的同时,从代表性编码轨迹中收集激活统计量。
这些敏感度信号帮助我们生成并筛选出更适合量化的候选张量,但并未直接确定精度分配的最终方案。层敏感度差异很大,更激进的层级精度降低并未持续改善质量与大小的权衡。因此,我们通过端到端评估来选择最终的量化模型,如图 3 所示。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。