llama.cpp 新增 Arm NEON 内核,低比特量化提示处理提速 6.5 倍
来源标题:Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel
llama.cpp 为 Arm CPU 补上了缺失的 NEON SDOT 内核,使低比特量化模型的提示处理速度最高提升 6.5 倍(Neoverse N1 上的 IQ3_M)。此前 Q3_K、Q2_K 和 IQ 系列在 Arm 上缺少专用内核,每次点积都要重新解包权重,导致提示读取比 x86 慢数倍。该补丁仅新增 164 行代码,生成速度不变,已有 Arm 内核的 Q4_K_M、Q5_K_M、Q6_K、Q8_0 不受影响。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
llama.cpp 在 Arm CPU 上读取 prompt 的速度比 x86 慢好几倍,低比特量化模型尤其明显。原因出在一个例程上:2026 年 9 月加入的“tiled K-quant matmul”(llama.cpp PR #27851,作者 jbooth,合作者 bartowski)只提供了 AVX-512 VNNI、AVX2 和 AVX 的内层 kernel。在 Arm 上,没有对应 kernel 的格式(Q3_K、Q2_K 和 IQ 系列)会退回一条每次点积都重新解包权重的路径。
本仓库补上了缺失的 Arm 内层 kernel(使用点积指令 SDOT 的 NEON),并在三代 Arm 服务器核心上做了测量。
Prompt 处理速度,单位 tokens/秒,前 -> 后(加速比)。Qwen2.5 1.5B,4 线程,512-token prompt。最大实测增益:6.5x(Neoverse N1 上的 IQ3_M)。生成速度不变。已经有 Arm kernel 的格式(Q4_K_M、Q5_K_M、Q6_K、Q8_0)没有变化。完整表格(含生成速度和 x86 参考数据):RESULTS.md。原始 llama-bench 输出:results/bench/。
补丁是 llama.cpp v0.9.0 两个文件中的 164 行新增代码(ggml/src/ggml-cpu/tiled/):
git clone --depth 1 --branch v0.9.0 https://github.com/ggml-org/llama.cpp cd llama.cpp git apply ../patch/arm-tiled.diff cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=OFF -DLLAMA_BUILD_TESTS=ON cmake --build build --target llama-bench test-tiled-mulmat -j 4 ./build/bin/test-tiled-mulmat # 15 cases ./build/bin/test-tiled-mulmat --fuzz # 88 cases
可移植驱动、tile 格式、解包器和测试都来自上游,未作改动。同一改动也以完整文件形式放在 src/patched/,以及单独的内核文件 src/neon_kernel.inc,附带将其拼接进 pristine v0.9.0 文件的脚本(tools/apply_neon.py)。
前后对比来自同一个二进制:GGML_CPU_TILED_MM=0 关闭该例程,也就是原版 llama.cpp v0.9.0 在 Arm 上走的路径。
M=Qwen2.5-1.5B-Instruct-IQ3_XS.gguf # from bartowski/Qwen2.5-1.5B-Instruct-GGUF ./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3 # after GGML_CPU_TILED_MM=0 ./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3 # before
scripts/ab.sh 对全部十种格式运行这一对比,tools/make_results.py 把输出转换成表格。
llama.cpp 自带的该例程测试(test-tiled-mulmat,新 kernel 对参考路径):在 Neoverse N1、V1 和 V2 上 15/15 用例通过。日志:results/bench/test-.log。其随机模式(--fuzz):在三款芯片上 88/88 用例通过。日志:results/bench/fuzz-.log。
在所有格式和芯片上,开启与关闭该例程时生成速度均不变。逐行阅读审查未发现正确性 bug:docs/REVIEW.md。
未做:由人类 kernel 工程师审查、test-backend-ops、sanitizer 构建,以及在真实 prompt 上对比模型输出。
测量在租用的 Arm 服务器(AWS Graviton2、3 和 4)上进行,不是手机。所用指令从 Cortex-A55 和 A75 起的手机核心就已支持,但手机缓存更小、内存更慢、核心大小混合且有散热限制。未测量任何手机。
仅一个小模型(Qwen2.5 1.5B),4 线程,512-token prompt。只有 prompt 处理变快。生成不使用该例程。llama.cpp 中已有 Arm kernel 的格式(Q4_K、Q5_K、Q6_K、Q8_0,走旧的“repack”路径)没有变化。Arm 的数据仍远低于 x86 参考。目前是什么在限制它们,尚未做 profile。仅在 4 和 8 线程下测试。审阅者预计超过约 16 线程后增益会缩小,甚至可能反转。未测量。未测试:Apple Silicon、Windows on Arm、8 到 32 token 之间的 batch、小缓存核心。仅 128 位 NEON;未使用 SVE 和 I8MM。
相关工作
ik_llama.cpp 为这些格式提供了自己的 NEON kernel。此处未做基准测试。这些 kernel 的移植已于 2026-11-09 和 2026-11-10 合并进 unslothai/stable-diffusion.cpp(pull request #48 和 #75)。此处未做基准测试。该例程的作者有一个开放的 pull request #30200,将其拆分为按架构划分的文件夹,为其他架构做准备。本补丁针对 v0.9.0,需要 rebase 到那个布局上。2026-11-11 在 llama.cpp 的 pull request 中没有找到该 tiled 例程的 Arm kernel。那次搜索并不穷尽。
与上游的状态
这尚未提交给 llama.cpp。其贡献规则(AGENTS.md、CONTRIBUTING.md)只允许在有一位理解每一行、并用自己的话撰写 pull request 的人类贡献者的情况下接受 AI 生成的代码,并且要求自主 agent 不要提交。符合这些规则的人欢迎在此基础上继续推进。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。