返回资讯中心
外部精选
软件工程
#开发者实时流

meshapplied 发布 Goethe:让 Linux 电脑变身本地推理 API 服务器

来源标题:Show HN: Goethe – turn your computer into an inference engine

YC W27 团队 meshapplied 发布开源工具 Goethe,可将搭载 NVIDIA GPU 的 Linux 机器变成 OpenAI、Anthropic 兼容的推理 API。软件用 Rust 编写,采用自研 NVFP4 和三元内核,单块 RTX 5090 跑 Qwen3.8-27B 时并发 1 解码达 255 tok/s。目前仅支持 Ampere 及以上 Linux 设备,首次加载模型需数分钟。

Hacker News 最新matteohorvath2026/11/16 · 昨天3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大家好,我是来自 meshapplied(YC W27)的 Matteo,和 Peter、Janos 一起做这个项目。我们认为你可以、也应该拥有自己的推理能力,所以我们做了真正支持这一点的软件。Goethe 能把一台带 NVIDIA GPU 的 Linux 机器变成一个 API,你的 OpenAI、Anthropic 兼容客户端可以直接调用。curl -fsSL https://goethe.sh/install.sh | bash goethe start它是开源的(Apache 2.0),用 Rust 编写,带有我们自己实现的 NVFP4 和 ternary kernel。在单张 RTX 5090 上,Qwen3.8-27B NVFP4 在并发为 1 时解码速度达到 255 tok/s(并发为 4 时为 686)。具体配置见模型卡:huggingface.co/meshapplied限制:仅支持 Linux,且需要 Ampere 或更新架构的 GPU;首次加载模型需要几分钟;API 使用自签名证书。用 goethe login 登录是可选的,登录后会启用优化过的 kernel。文档:goethe.sh/docs我很想听听哪里会出问题,以及你们接下来想要什么功能。 评论链接:https://news.ycombinator.com/item?id=50523086 点数:1 评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →