
外部精选
软件工程
#开发者实时流Kindi 推理引擎发布:低成本 GPU 上推理速度超过 llama.cpp
来源标题:Kindi: The fastest software inference engine for low-cost GPUs
Kindi 在单卡和双卡上于 512 至 64K token 的各个上下文长度下,写入速度均超过 llama.cpp。单卡 250W、同一 27B 模型、K/V q8_0 配置下,64K token 时达 77.2 tok/s,llama.cpp 为 56.1 tok/s;双卡 64K 时分别为 93.4 与 58.2 tok/s。
Hacker News 最新Kevin_Flynn2026/11/11 · 6 天前1 分钟阅读
这个来源的 RSS 只提供摘要,下面是原文导语;完整论述请点「打开原文」。
Kindi writes faster than llama.cpp at every context that we measured, from 512 to 64K tokens, on one card and on two cards.
106.196.374.156.1113.4110.192.977.25128K32K64K77.2tok/sllama.cpp: 56.11.38×
Kindillama.cpp
Write speed (tok/s) at that depth on one card at 250 W, the same 27B file for both engines, K/V q8_0. The big number is 64K tokens. On two cards at 64K: 93.4 against 58.2.
本条为导读摘要,完整论述请以原文为准。