
Tensward 推出本地 AI 推理优化工具,可自动测试 LLM 引擎参数调整
来源标题:Show HN: Tensward – Local AI inference optimisation
Tensward 是一款本地 LLM 推理优化工具,会在本机启动引擎副本,用真实负载测试并逐项建议参数修改,仅当修改后更快且回答通过校验时才保留。该工具支持 vLLM 和 llama.cpp,兼容 NVIDIA(含 L4)与 Apple Silicon,采用 Apache-2.0 许可免费提供。测量期间需空闲 GPU 显存,不会改动用户正在运行的服务器。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
测量你的 LLM 在自己机器上的服务情况,一次只提出一项改动,只有当它更快且答案通过你的检查时才保留该改动。 你已经在运行 vLLM 或 llama.cpp。Tensward 会在本地端口启动你自己的引擎副本, 向它发送真实的工作负载(你的提示词,或聊天、agent、代码和 RAG 预设,包含工具 调用),读取引擎的指标和 GPU 数据,指出是什么限制了你,并提出一项 flag 改动。 它测量该改动,比较改动前后的答案,只有当它更快时才将其保留在项目中。它绝不会停止或重新配置你正在运行的服务器,但在测量期间需要 GPU 内存空闲:如果有进程占用,它会指出该进程并且不启动。在你导出或提供服务之前,不会部署任何东西。 免费(Apache-2.0):一个 GPU,一次一个 tensward try,每个数字都在你的机器上实测。 支持 Apple Silicon 和 NVIDIA 硬件 tensward.com。 两者都是 Tensward 0.4.2 在 GCP g2-standard VM 上的真实终端输出,配备一块 NVIDIA L4 (22.5 GiB),各运行一次,2026-11-07,用“…”缩短。数字每次运行都会不同。Tensward 只有当 改动大于相同运行之间的差异时才认定它是真实的;详情见报告。 Qwen3.5-35B-A3B Q8_0(GGUF,34.4 GiB),llama-server -ngl 99 -c 16384 -np 4,llama.cpp build 11669 (CUDA),4 个并发请求,带工具调用的 agent 工作负载。 同一台 L4 机器,连续进行,各 2 次运行:llama.cpp 自带的 --fit 为 0.225 req/s,28.5 tok/s,首字 2.82 s;保留的设置为 0.316 req/s,41.4 tok/s,首字 1.50 s:请求/s +40%,首字 −47%。两者之间的答案:160 个中有 98–101 个完全相同,与两次 --fit 运行相同(160 个中有 101 个)。主机 RAM:6.0 → 20.5 GiB。 $ tensward try 尝试 --n-gpu-layers all --n-cpu-moe 17 原因:模型无法将所有层都放在 GPU 上:设备上的权重占用 33.9 GiB,16384 个 token 的 KV cache 占用 0.4 GiB,约 1.6 GiB 用于计算缓冲区和余量,而 GPU 只有 22.5 GiB。 … 已尝试:--n-gpu-layers all --n-cpu-moe 17 现在 ──────────────────────────────────────────────────────────────────────────── 请求/s 0.237 输出 tok/s 30.2 首字,典型 2.65 s 首字,最慢 1/20 3.78 s 每 token,典型 106 ms 每 token,最慢 1/20 153 ms GPU 活跃时间占比 39% 解码 vs 上限 17% VRAM 使用(共 22.5 GiB)21.7 GiB 主机 RAM 使用(共 62.8 GiB)2.6 GiB CPU 上的专家 17 层 答案 160/160 非空,无重复 ✔ 工具调用有效 JSON 100%,工具选择正确 82 次调用中 100% ✔ 你的模型之前无法运行;现在可以运行了。答案已单独检查。 受限于每一步读取 CPU 卸载的专家。 已保留在此项目中。你正在运行的服务器未改变。 下一步: tensward try try --load-mode none tensward undo 撤销此改动 tensward serve 停止调优并服务当前保留的配置 $ tensward try 尝试 --load-mode none(基于你当前的设置:--n-gpu-layers all --n-cpu-moe 17) 原因:llama.cpp 通过 mmap 读取 CPU 卸载的专家;将它们一次性加载到内存中更快 这大约需要 11 分钟。 … 已尝试:--load-mode none(基于你当前的设置:--n-gpu-layers all --n-cpu-moe 17) 之前 之后 变化 ──────────────────────────────────────────────────────────────────────────── 请求/s 0.237 0.321 +33% 输出 tok/s 30.2 39.9 +32% 首字,典型 2.65 s 1.46 s 首字,最慢 1/20 3.78 s 2.19 s -42% 每 token,典型 106 ms 85.1 ms 每 token,最慢 1/20 153 ms 120 ms -21% GPU 活跃时间占比 39% 52% +13 个百分点 解码 vs 上限 17% 22% +5 个百分点 VRAM 使用(共 22.5 GiB)21.7 GiB 21.7 GiB 相同 主机 RAM 使用(共 62.8 GiB)2.6 GiB 16.8 GiB +14.2 GiB CPU 上的专家 17 层 17 层 相同 答案 64 个中有 44 个完全相同 ✔ 工具调用 67 次调用,全部有效 ✔ 请求/s:+33%:真实增益。 20 个答案措辞改变,不超过早先运行自身重复的差异。 受限于每一步读取 CPU 卸载的专家。 已保留在此项目中(相对于你的命令)。你正在运行的服务器未改变。 下一步: tensward try try --threads 16 tensward undo 撤销此改动 tensward serve 停止调优并服务当前保留的配置 $ tensward try 尝试 --threads 16(基于你当前的设置:--n-gpu-layers all --n-cpu-moe 17 --load-mode none) 原因:llama-server 在主机提供的 16 个可用 CPU 中运行 8 个线程;现在测量:Try 中没有其他可运行项 这大约需要 8 分钟。 … 已尝试:--threads 16(基于你当前的设置:--n-gpu-layers all --n-cpu-moe 17 --load-mode none) 之前 之后 变化 ──────────────────────────────────────────────────────────────────────────── 请求/s 0.321 0.335 +5% 输出 tok/s 39.9 42.3 +6% 首字,典型 1.46 s 1.41 s 首字,最慢 1/20 2.19 s 1.7 s 无变化 每 token,典型 85.1 ms 79.5 ms 每 token,最慢 1/20 120 ms 116 ms 无变化 GPU 活跃时间占比 52% 54% +2 个百分点 解码 vs 上限 22% 未测量 VRAM 使用(共 22.5 GiB)21.7 GiB 21.7 GiB 相同 主机 RAM 使用(共 62.8 GiB)16.8 GiB 16.8 GiB 相同 CPU 上的专家 17 层 17 层 相同 答案 64 个中有 40 个完全相同 由你决定 工具调用 67 次调用,全部有效 ✔ 请求/s:+5%:真实增益。 受限于每一步读取 CPU 卸载的专家。 未保留:64 个答案中有 24 个措辞不同(没有错误)。除非你保留,否则不会有任何改变。 比较它们:~/my-server/.tensward/runs/0003-threads-16/report.md(“改动前后的答案”部分) 下一步: tensward try --keep 保留它;之后没有其他可尝试项 tensward try 跳过它并尝试 --threads-batch 16 tensward serve 停止调优并服务当前保留的配置 $ tensward try --keep 已保留 --threads 16(答案措辞改变,你已接受)。 没有更多可尝试的改动。 --load-mode none 是增益所在:+33%,20 个措辞改变的答案与早先运行自身的重复差异相当, 因此无需询问即保留。它多占用 14 GiB 主机 RAM。--threads 16 增加 5% 并改变 64 个答案中 24 个的措辞,因此等待你决定;阅读后在此保留。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。