外部精选
软件工程
#开发者实时流开源引擎Tokspur发布：面向Mac，推理速度提升至3倍
来源标题：Show HN: Tokspur a 3x faster open source inference engine for Macs
开源推理引擎 Tokspur 发布，号称在 Mac 上实现 3 倍于现有方案的推理速度。该引擎基于 Metal 编写，支持原生多 token 预测，采用 Apache 2.0 协议开源。开发者称其仅在搭载 M5 Max 的 Mac 上做过本地测试，希望社区试用反馈。
Hacker News 最新51monfarrow2026/11/10 · 今天2 分钟阅读
这个来源的 RSS 只提供摘要，下面是原文导语；完整论述请点「打开原文」。
我们原本在解决另一个问题，结果中途拐了个弯，顺手做出了一款推理引擎。当时我们正在为另一个项目做大量本地 LLM 工作，手上有了几台崭新的 Mac M5 Max 128GB，于是就想跑一些更大的模型。在跑编码类模型时，我们注意到多轮对话之间的重复计算还有优化空间。之后事情就有点收不住了，我们最终写了一个自己的 Metal 引擎，并原生支持 multi-token prediction。该运行时以 Apache 2.0 协议开源。我很希望听听大家对我们这套引擎设计的反馈，尤其是从事 Metal 或本地 LLM 工作、手上有 M5 Max 的朋友。我们只做了本地测试，所以如果有人能上手试一下，帮我们判断到底是我们疯了还是没疯，那就太好了。 评论链接：https://news.ycombinator.com/item?id=50438931 点数：1 评论数：0
本条为导读摘要，完整论述请以原文为准。