返回资讯中心
外部精选
软件工程
#开发者实时流

RTX 3090 上实测 LM Studio 与 Ollama 运行同一模型

来源标题:LM Studio vs. Ollama on Linux: same model files, measured on an RTX 3090

在同一台 RTX 3090 上,用 Docker 分别运行 LM Studio 和 Ollama 加载相同的两个 Qwen3.5 GGUF 模型文件,对比两者速度、显存占用、加载时间、并发请求和磁盘占用。测试使用 Fedora 44、Ollama 0.40.15 和 llama.cpp CUDA 12 运行时 2.71.0,并用 SHA-256 校验两工具加载的文件完全一致。

Hacker News 最新aidotguru2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

发布于 2026 年 11 月 12 日 · 属于自托管 AI 测试环境为 Fedora 44、Docker 29.9.2、NVIDIA 驱动 615.78.08、RTX 3090(24 GB),使用 Ollama 0.40.15(ollama/ollama:0.40.15)以及 LM Studio 的无头守护进程,后者来自 lmstudio/llmster-preview:cpu 镜像并搭配 llama.cpp CUDA 12 运行时 2.71.0,测试日期为 2026 年 11 月 8 日。 LM Studio 和 Ollama 都能运行本地语言模型,也都提供可供其他程序调用的 API。本页在同一块 RTX 3090 上,用 Docker 让两者运行同样的两个 Qwen3.5 GGUF 文件,比较速度、GPU 显存占用、加载时间、并行请求和磁盘占用。文中还介绍了如何让 LM Studio 的 Docker 镜像用上 NVIDIA GPU(官方镜像目前尚不支持),以及如何再把它移除。 大多数“Ollama vs LM Studio”的对比测试都在 Mac 上进行,在 Mac 上 LM Studio 可以使用 Apple 的 MLX 引擎,而 Ollama 运行的是 GGUF 文件,因此两个工具运行的是不同的模型文件,结果也无法套用到 Linux 上。而在配备 NVIDIA 显卡的 Linux 上,两个工具都运行 llama.cpp。本次测试中,两者加载的是完全相同的文件,并已用 SHA-256 校验。 关于这些工具的事实均附有来源链接。没有链接的数字均为本次测试实测所得。测试脚本和原始结果都在 GitHub 上。 结论:对于常开在家的服务器,Ollama 是更简单的选择。LM Studio 更适合桌面环境——你想要一个图形界面应用来查找、下载和试用模型,而且它无需太多调优就能同时服务多个用户。 测试机器是一台台式机,配置为 Ryzen 9 5900X、64 GB 内存和 24 GB 的 RTX 3090,运行 Fedora 44。模型是 unsloth 的 Qwen3.5 9B 和 27B GGUF 构建,量化方式为 Q4_K_M,磁盘占用分别为 5.7 GB 和 16.7 GB。两个工具都关闭了思考功能,temperature 设为 0。 每项测试发送两个提示词中的一个。短提示词约 70 个 token,要求生成 512 个 token 的回答。长提示词约 4,120 个 token 的文本,要求生成 256 个 token 的摘要。每次正式测量前,脚本都会等到 GPU 降温至 50 °C,并且每个提示词开头都有一个随机 ID,以防任一工具复用缓存的提示词。每个数字都是五次运行的中位数。LM Studio 的各轮运行在两种配置之间交替进行: 两个工具加载的是完全相同的 GGUF 文件,并已用 SHA-256 校验,同时 LM Studio 也在 Ollama 的 32k 上下文下运行过,因此两者可以进行同类对比。 Ollama 的数据来自四小时前在同一台机器上用相同脚本进行的测试。为排除机器状态变化的影响,在 LM Studio 测试之后又重新运行了 Ollama:9B 模型为每秒 120.1 个 token,27B 为 41.2,而四小时前分别为 120.6 和 42.3。 自 0.30.0 版本起,Ollama 会在来自 llama.cpp 项目的 llama-server 进程中运行 GGUF 模型。LM Studio 也是如此:它的 CUDA 运行时就是一个包含 llama.cpp 库和 llama-server 程序的文件夹,LM Studio 会为每个加载的模型启动它。Ollama vs llama.cpp 一文展示了 Ollama 启动时的确切命令,并与单独运行 llama-server 的情况做了对比。 引擎是相同的。两个工具的主要区别在于它们打包的 llama.cpp 构建版本,以及启动时传入的选项。 以下是 LM Studio 在默认设置下为 9B 模型传入的选项,读取自运行中的进程: --ctx-size 8192 --parallel 4 --kv-unified --n-gpu-layers 999999 --flash-attn on --batch-size 2048 --ubatch-size 512 --threads 9 --cache-type-k f16 --cache-type-v f16 --load-mode mmap+mlock Ollama 启动同一模型时用的是 -c 32768 -np 1 --flash-attn auto -b 1024 -ub 1024。对于 27B 模型,它用的是 -b 512 -ub 512。 生成速度是模型写出回答时每秒的 token 数,由各工具自行报告。首 token 时间由测试脚本测量,从发送请求到回答的第一个词。512-token 时间指整个短回答所花的时间。 要点:差距很小。实际使用中,9B 模型生成 512 个 token 的回答时差距约为 0.4 秒。在长回答中你能察觉到,而在聊天中几乎感觉不到。 这项测试同时发送四个请求,每个请求要求 256 个 token,并测量每秒总 token 数。共运行三轮,表中显示的是中位数。GPU 显存在请求运行期间读取。Ollama 的数据来自 Ollama vs llama.cpp 测试,其中 OLLAMA_NUM_PARALLEL 分别设为 1(默认值)和 4。 如何解读该表:LM Studio 的 1 个槽位指其默认的 8,192-token 上下文搭配 --parallel 1,而非速度测试中的 32k 配置。Ollama 的每个槽位使用的是其默认的 32k 上下文。 只有一个槽位时,两个工具依次处理四个请求,因此总量大约相当于单个请求的速度。有四个槽位时,它们并行运行,四种情况中有三种的总量提升到两倍以上。 原因:使用 27B 模型时,四个槽位让 Ollama 变慢了,为每秒 33.1 个 token,而单槽位为 39.8;而 LM Studio 的四个槽位达到了 90.2。Ollama 的四个槽位需要 131,072-token 的上下文,这导致模型的一部分被放到了 CPU 上,而 LM Studio 的四个槽位共享一个 8,192-token 上下文,始终留在 GPU 上。这很可能是主要原因。 Ollama 的 FAQ 指出,所需内存会随 OLLAMA_NUM_PARALLEL 乘以上下文长度而增长。使用四个槽位时,Ollama 以 131,072-token 的上下文启动模型,是其 32k 默认值的四倍。这已经无法装进 24 GB:ollama ps 显示模型有 16% 在 CPU 上,总速度降到了单槽位以下。LM Studio 的四个槽位共享一个 8,192-token 上下文,因此模型留在 GPU 上,总速度提升到两倍以上。在 Ollama 中用 OLLAMA_CONTEXT_LENGTH 设置更小的上下文应该可以避免溢出,但本次测试没有尝试。 LM Studio 默认设置的代价是上下文较短。四个槽位共享 8,192 个 token,留给长文档或长对话的空间很小。如果需要更大的上下文,可以用以下命令加载模型: lms load qwen3.5-27b --context-length 32768 --parallel 1 GPU 显存与加载时间:在相同上下文下大致相当

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →