@crtrs/llm 发布：在 Node 中本地运行 LLM 的高层 API
来源标题：High level API for local LLMs in Node
npm 包 @crtrs/llm 让开发者直接在 Node 中加载磁盘上的 GGUF 模型文件并与之对话。它支持流式输出、传入 zod schema 获得解析并带类型的 JSON 回复，并提供 token 计数与卸载等接口。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
npm install @crtrs/llm import { load } from '@crtrs/llm' const ai = await load('./model.gguf', { system: 'Answer briefly.' }) await ai.prompt('Hi', { onToken: (t) => process.stdout.write(t) }) await ai.unload() 传入一个 zod schema，回复就会是符合该结构的 JSON，并且已经过解析和类型标注。 import { z } from 'zod' const city = await ai.prompt('Capital of France?', { schema: z.object({ name: z.string(), population: z.number() }), }) city.population // number load(modelPath, { system? }) -> Promise<Model> model.prompt(text, { onToken?, signal? }) -> Promise<string> model.prompt(text, { schema, onToken?, signal? }) -> Promise<T> model.getTokenCount() -> number model.unload() -> Promise<void> onToken 会在回复生成过程中逐段接收文本。getTokenCount 返回自 load 以来生成的 token 数量，包含推理部分。
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。