
NeuroBrix 发布 0.6.5:脱离 PyTorch,用 Rust 语法引擎实现本地推理
来源标题:Show HN: NeuroBrix – PyTorch-free local inference with a Rust grammar engine
NeuroBrix 0.6.5 发布,新增约束解码,并让服务守护进程更快、覆盖范围更广。该版本配套 nbxtensor 0.1.0 与独立打包的 Rust 语法引擎 nbxgrammar 0.1.0,提供不依赖 PyTorch 的 Triton 推理引擎(pip install neurobrix),也可选用 PyTorch 版本。nbxgrammar 的预编译包覆盖 Linux x86_64/aarch64、macOS arm64/x86_64 和 Windows x86_64,其他平台不支持约束请求。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
代码 Issues Pull requests 讨论 Actions 项目 安全与质量 洞察 更多项目 版本发布 v0.6.5 NeuroBrix 0.6.5 最新 最新 比较 选择一个标签进行比较 抱歉,出了点问题。 筛选 加载中 抱歉,出了点问题。 哎呀! 加载时出错。请重新加载此页面。 v0.6.5 e26bc5f NeuroBrix 0.6.5 NeuroBrix 0.6.5 带来了约束解码,以及一个速度更快、覆盖范围更广的服务守护进程,并附带 nbxtensor 0.1.0 和 nbxgrammar 0.1.0。 安装:pip install neurobrix(Triton 引擎,不依赖 PyTorch)或 pip install "neurobrix[pytorch]";在 Mac 上, python -m nbxtensor install-metal。该库为 nbxtensor 0.1.0。 语法引擎是独立的包 nbxgrammar 0.1.0,pip install neurobrix 会在 Linux x86_64 和 aarch64、macOS arm64 和 x86_64 以及 Windows x86_64 上安装它;在其他任何平台上都不存在它的 wheel, 约束请求会按名称被拒绝(501 constrained_decoding_not_installed)。 加载中 哎呀! 加载时出错。请重新加载此页面。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。