返回资讯中心
外部精选
软件工程
#开发者实时流

llama.cpp 发布 v1.0:RTX 3090 上投机解码最高提速 55%

来源标题:Llama.cpp v1.0 on an RTX 3090: up to 55% faster with speculative decoding

llama.cpp 于 2026 年 11 月 13 日发布 v1.0,在 RTX 3090 上对比五天前的旧版本(build 12199),开启投机解码后最高提速 55%。测试使用 Qwen3.5 9B 和 27B Q4_K_M GGUF 模型,运行于 Fedora 44 与 Docker 29.9.2 环境。若无投机解码且仅单人使用,v1.0 并无提速;升级前需先从命令中移除 --defrag-thold。

Hacker News 最新aidotguru2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

2026 年 11 月 14 日发布 · 属于 self-hosted AI

测试环境为 Fedora 44、Docker 29.9.2、RTX 3090(24 GB)和 Ryzen 9 5900X,对比 llama.cpp 服务镜像 build 12199 与 v1.0.0(build 12359),使用 Qwen3.5 9B 与 27B 的 Q4_K_M GGUF 文件,测试日期为 2026 年 11 月 14 日。

llama.cpp 于 2026 年 11 月 13 日发布 1.0 版本。本次测试在 RTX 3090 上将它与此前五天的一个 v1 之前的构建(build 12199)进行了对比。

速度单位为 tokens per second(tok/s),数值越高越快。token 是一小段文本,通常是一个词或词的一部分。投机解码与 MTP 在各自的章节中说明。

结论:如果你使用的是 NVIDIA RTX 30 系列或更新的显卡,且有多人或多个程序同时使用你的服务器,或者你对较大的模型使用投机解码,那就应该升级。如果你是唯一用户、聊天时不使用投机解码,v1.0 并不更快,方便时再升级即可。无论哪种情况,请先移除命令中的 --defrag-thold。

llama.cpp 是一个免费的开源程序,可在你自己的电脑上运行大语言模型。它读取以 GGUF 文件形式存储的模型。一个 GGUF 文件把模型的全部权重放在一个文件里。llama.cpp 可在 CPU 上运行这些模型,也可在 NVIDIA、AMD、Intel 或 Apple 的 GPU 上运行。它用 C 和 C++ 编写。

许多其他工具在底层运行 llama.cpp。Ollama 每加载一个 GGUF 模型就会启动 llama.cpp 的 llama-server,LM Studio 在 Linux 上也同样如此。因此,只要这些工具升级到更新的构建,llama.cpp 的改动也会影响到它们。

ggml 是负责 llama.cpp 内部数学运算的库:它在你的 CPU 或 GPU 上对构成模型的大型数字表进行乘法运算。v1.0 的公告将 ggml 描述为“面向机器学习的张量库”,将 llama.cpp 描述为“用 C/C++ 实现的 LLM 推理”。两者由同一个团队 ggml-org 开发。按照 ggml 贡献指南的要求,ggml 的大多数改动先在 llama.cpp 仓库中完成,之后再复制到 ggml。ggml 也于 11 月 13 日达到 v1.0.0。

llama.cpp 有两类版本号,而 v1.0 并未取代其中任何一类。

版本号遵循语义化版本规范:第一位数字只在出现可能破坏基于 llama.cpp 构建的软件的改动时才会增加。公告如此表述:“今后,llama.cpp 和 ggml 都将通过主版本号的提升来体现 API 与 ABI 的不兼容。”其规则表指出,“对公共 C API 的破坏性改动”会提升第一位数字,即主版本号。新功能、后端更新或对新模型的支持会提升第二位数字,即次版本号。缺陷修复会提升第三位数字,即补丁号。

对于在家运行模型的人来说,版本规则影响不大。它们对基于 llama.cpp 代码构建程序的开发者才有意义。

v1.0.0 的发布说明列出了自 v0.9.0 以来的所有改动。对家用服务器最重要的几项是:

两个构建都在同一台机器上运行,使用相同的模型文件和相同的提示词。测试脚本与原始结果在 GitHub 上。本页关于 llama.cpp 的事实均链接到其来源页面,未附链接的数字均为本次测试实测。

Tokens per second 指模型写出答案的速度,越高越好。下文提到的上下文,指模型一次能保持在视野中的 token 数量:提示词、迄今为止的对话以及答案。

这是家用场景中的常见情况:一个人与模型聊天,服务器一次处理一个请求,不使用投机解码。

两个构建的差距在 2% 以内。v1.0 在 9B 模型上略快,在 27B 模型上略慢。但同一构建的五次运行之间的波动比这更大:v1.0 在 9B 模型上的短提示词运行在每秒 111.8 到 118.7 token 之间。因此本次测试未发现真实差异。当天早些时候使用稍新的 v1 构建进行的一次运行给出了相同结果:各项速度与 v1 之前相差约 1% 以内。

两个构建都比六天前的 Ollama vs llama.cpp 测试慢几个百分点,当时同一个 v1 之前的构建在 9B 模型上达到每秒 121.6 token。v1 之前的版本降幅相同,所以这一下降并非来自 v1.0。这台机器的速度在不同会话之间会有几个百分点的变化。因此本页的所有对比都采用两个构建在同一会话中轮流运行的数据。

家用服务器往往有多个客户端:聊天窗口、编程工具和 agent 都可能向同一个模型发送请求。本次测试中 llama-server 默认启动四个 slot,因此最多可同时处理四个请求。slot 数量由 -np(--parallel)设置。连续批处理默认开启,它会把各 slot 的 token 一起送入模型计算。本次测试一次发送四个请求,每个请求 256 token,测量四者合计每秒产生的文本总量。每个构建各运行两个独立会话,每个数字是一个会话中三轮的中位数。

平均而言,v1.0 在 9B 模型上每秒多产生 14% 的文本,在 27B 模型上多 22%。v1.0 的每一轮都比 v1 之前的每一轮更快。

折算到四个请求中的每一个,9B 模型约为每秒 79 token,而非约 69;27B 模型约为 29,而非约 24。此前使用较新 v1 构建的运行给出了相同的提升:9B 模型 15%,27B 模型 23%。

两个构建在此均使用默认设置,因此服务器的 --fit 选项会根据空闲 GPU 显存选择上下文大小。对于 27B 模型,它选择的范围在 72,960 到 79,616 token 之间,由四个 slot 共享。每次服务器启动时该数值都会略有变化。在第二个会话中,两个构建的上下文几乎相同,分别为 73,472 和 73,984 token,而 v1.0 仍然快 24%。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →