llama.cpp 补上 Arm NEON 内核,低比特量化提示处理提速 6.5 倍
来源标题:Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel
为 llama.cpp 新增基于 NEON SDOT 指令的 Arm 内核后,低比特量化模型在 Arm CPU 上的提示处理速度最高提升 6.5 倍(Neoverse N1 上运行 IQ3_M,Qwen2.5 1.5B、4 线程、512 token 提示)。此前 Q3_K、Q2_K 和 IQ 系列因缺少 Arm 内核,每次点积都要重新解包权重。生成速度不变,已有 Arm 内核的 Q4_K_M、Q5_K_M、Q6_K、Q8_0 不受影响。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
llama.cpp 在 Arm CPU 上读取 prompt 的速度比 x86 慢好几倍,尤其是在低比特量化模型上。原因出在一个例程上:2026 年 9 月加入的“tiled K-quant matmul”(llama.cpp PR #27851,作者 jbooth,合作者 bartowski)只为 AVX-512 VNNI、AVX2 和 AVX 写了内层 kernel。在 Arm 上,没有对应 kernel 的格式(Q3_K、Q2_K 和 IQ 系列)会退回到一条每次点积都重新解包权重的路径。
本仓库补上了缺失的 Arm 内层 kernel(使用点积指令 SDOT 的 NEON),并在三代 Arm 服务器核心上做了测量。Prompt 处理速度,单位 tokens/s,前 -> 后(加速比)。Qwen2.5 1.5B,4 线程,512-token prompt。最大实测提升:6.5x(IQ3_M 在 Neoverse N1 上)。生成速度不变。已经有 Arm kernel 的格式(Q4_K_M、Q5_K_M、Q6_K、Q8_0)没有变化。完整表格(含生成速度和 x86 参考数据):RESULTS.md。llama-bench 原始输出:results/bench/。
补丁是 164 行新增代码,位于 llama.cpp v0.9.0 的两个文件中(ggml/src/ggml-cpu/tiled/):可移植驱动、tile 格式、解包器和测试都来自上游,未作改动。 git clone --depth 1 --branch v0.9.0 https://github.com/ggml-org/llama.cpp cd llama.cpp git apply ../patch/arm-tiled.diff cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=OFF -DLLAMA_BUILD_TESTS=ON cmake --build build --target llama-bench test-tiled-mulmat -j 4 ./build/bin/test-tiled-mulmat # 15 cases ./build/bin/test-tiled-mulmat --fuzz # 88 cases
同样的改动也以完整文件形式放在 src/patched/ 中,另外还单独提供 kernel 文件 src/neon_kernel.inc,以及把它拼接到原始 v0.9.0 文件中的脚本(tools/apply_neon.py)。
前后数据来自同一个二进制:GGML_CPU_TILED_MM=0 关闭该例程,也就是原版 llama.cpp v0.9.0 在 Arm 上走的那条路径。 M=Qwen2.5-1.5B-Instruct-IQ3_XS.gguf # from bartowski/Qwen2.5-1.5B-Instruct-GGUF ./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3 # after GGML_CPU_TILED_MM=0 ./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3 # before
scripts/ab.sh 会对全部十种格式运行上述命令,tools/make_results.py 把输出整理成表格。llama.cpp 自带的该例程测试(test-tiled-mulmat,新 kernel 对参考路径):在 Neoverse N1、V1 和 V2 上 15/15 全部通过。日志:results/bench/test-.log。其随机模式(--fuzz):在三款芯片上 88/88 全部通过。日志:results/bench/fuzz-.log。在所有格式和芯片上,开启该例程与关闭相比,生成速度不变。逐行审查未发现正确性 bug:docs/REVIEW.md。
未完成:由人类 kernel 工程师审查、test-backend-ops、sanitizer 构建,以及在实际 prompt 上对比模型输出。测量在租用的 Arm 服务器(AWS Graviton2、3 和 4)上进行,不是手机。所用指令从 Cortex-A55 和 A75 起在手机核心上就存在,但手机缓存更小、内存更慢、核心大小混合且有散热限制。没有测量任何手机。只测了一个小模型(Qwen2.5 1.5B),4 线程,512-token prompt。只有 prompt 处理变快。生成不使用该例程。llama.cpp 中已有 Arm kernel 的格式(Q4_K、Q5_K、Q6_K、Q8_0,走旧的“repack”路径)没有变化。Arm 的数据仍远低于 x86 参考。目前是什么在限制它们,尚未做 profile。只在 4 和 8 线程下测试过。审查者预计超过约 16 线程后提升会缩小,甚至可能反转。未测量。未测试:Apple Silicon、Windows on Arm、8 到 32 token 之间的 batch、小缓存核心。仅使用 128 位 NEON;未使用 SVE 和 I8MM。
相关工作总结: ik_llama.cpp 为这些格式有自己的 NEON kernel。此处未做基准测试。 这些 kernel 的移植版已于 2026-11-09 和 2026-11-10 合并进 unslothai/stable-diffusion.cpp(pull request #48 和 #75)。此处未做基准测试。 该例程的作者有一个开放的 pull request #30200,把它拆分为按架构划分的目录,为其他架构做准备。本补丁基于 v0.9.0,需要 rebase 到那个布局上。 截至 2026-11-11,在 llama.cpp 的 pull request 中没有找到针对 tiled 例程的 Arm kernel。该搜索并不详尽。
与上游的状态:这尚未提交给 llama.cpp。其贡献规则(AGENTS.md、CONTRIBUTING.md)只允许在有一位理解每一行、并以自己的话撰写 pull request 的人类贡献者的情况下使用 AI 生成的代码,并且规定自主 agent 不得提交。任何符合这些规则的人都欢迎把这项工作继续推进。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。