返回资讯中心
外部精选
软件工程
#开发者实时流

LLMBrake 发布:为 OpenAI/Anthropic API 调用设置按客户美元预算上限

来源标题:Show HN: LLMBrake – Per-customer dollar caps for OpenAI/Anthropic API calls

LLMBrake 是一个 TypeScript 库,可对每个客户设置每月美元预算,在接近上限时自动切换到更便宜的模型,达到上限则拦截请求。它根据供应商返回的 token 用量以美元计价并累计月度总额,超预算时抛出 BudgetExceededError。目前版本为 0.1.0,已在 npm 发布。

Hacker News 最新llmbrake2026/11/5 · 12 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

按客户设置 AI 应用成本上限:为每个客户设定每月美元预算,接近上限时切换到更便宜的模型,达到上限时直接拦截。 llmbrake 是一个小型 TypeScript 库,用于包装你的 OpenAI 兼容 chat.completions.create 调用。它根据提供商返回的 token 用量,以美元计价每次调用,并按客户维护月度累计总额。当客户接近预算时,它会换用更便宜的模型;达到预算时,它会在请求到达提供商之前抛出类型化的 BudgetExceededError。 状态:0.1.0,早期版本。网站:llmbrake.com npm install llmbrake 已以 llmbrake 为名发布到 npm。如果想试用最新的 main 分支,请运行 npm install github:llmbrake/llmbrake(安装时会自动构建)。 llmbrake 仅支持 ESM(使用 import,而非 require)。 import OpenAI from "openai"; import { createGuard, isBudgetExceededError } from "llmbrake"; const openai = new OpenAI(); const guard = createGuard({ budgetUsd: (ctx) => (ctx.plan === "pro" ? 20 : 2), // 每个客户每个自然月(UTC)的美元预算 downgradeAt: 0.8, // 达到预算的 80% 时…… downgradeMap: { "gpt-5.5": "gpt-5.4-mini" }, // ……将 gpt-5.5 请求发送到 gpt-5.4-mini }); const chat = openai.chat.completions; const create = guard.wrap(chat.create.bind(chat)); try { const res = await create( { model: "gpt-5.5", messages: [{ role: "user", content: "Hello" }] }, { customerId: user.id, plan: user.plan, feature: "chat" }, ); } catch (e) { if (isBudgetExceededError(e)) { // e.customerId, e.spentUsd, e.budgetUsd, e.period return showUpgradePrompt(); throw e; await guard.status({ customerId: user.id, plan: user.plan }); // → { period: "2026-10", spentUsd: …, budgetUsd: 20, remainingUsd: … } 工作原理 每个被包装的调用都会经过三个步骤: customerId: "cus_123", plan: "pro", feature: "chat", period: "2026-10", requestedModel: "gpt-5.5", model: "gpt-5.4-mini", downgraded: true, promptTokens: 1102, completionTokens: 182, cachedTokens: 640, costUsd: 0.0012, spentUsd: 16.41, budgetUsd: 20, timestamp: "2026-10-11T20:00:00.000Z" guard.check(ctx, model) 会执行步骤 1–2 而不发起调用,适合在用户点击之前禁用按钮。 使用 stream: true 时,llmbrake 会设置 stream_options.include_usage = true,并在流结束时记录成本,包括你的代码提前停止读取的情况(届时已收到的用量都会被记录)。 任何接受 { model, ... } 并返回 { model, usage: { prompt_tokens, completion_tokens } } 的 create(params) 函数都可以使用,例如 OpenRouter、Anthropic 的 OpenAI 兼容端点以及本地网关。将它们对应的模型 ID 加入价格表即可。 CI 会针对 mock 提供商运行这些测试(无需 API key)。 默认的 MemoryStore 将累计总额保存在进程内存中:适用于单服务器、测试和演示,但重启后会丢失,且无法在实例之间共享。对于多实例或 serverless 场景,请实现包含两个方法的 UsageStore 接口。使用 ioredis 时: import Redis from "ioredis"; import { createGuard, type UsageStore } from "llmbrake"; const redis = new Redis(process.env.REDIS_URL!); const key = (customerId: string, period: string) => llmbrake:${period}:${customerId}; const redisStore: UsageStore = { async getSpend(customerId, period) { return Number((await redis.get(key(customerId, period))) ?? 0); async addSpend(customerId, period, usd) { const k = key(customerId, period); const res = await redis .multi() .incrbyfloat(k, usd) .expire(k, 60 * 60 * 24 * 40) // 保留约 40 天,之后让旧月份过期 .exec(); const [err, total] = res?.[0] ?? [new Error("Redis transaction failed"), null]; if (err) throw err; return Number(total); }; const guard = createGuard({ budgetUsd: 5, store: redisStore }); INCRBYFLOAT 是原子操作,因此跨实例的累计总额能保持正确。如果存储抛出异常(或返回非数值),调用默认会 fail open,以保证你的产品继续工作;设置 failOpen: false 可改为 fail closed。 HostedStore 将计数器保存在 LLMBrake Cloud 中,因此使用你项目 API key 的每个服务器和 serverless 实例都会共享每个客户的同一份计数器,你在仪表板中编辑的预算会在下一次调用时生效,且无需运行 Redis: import { createGuard, HostedStore } from "llmbrake"; const guard = createGuard({ budgetUsd: 5, // 默认值;仪表板中为某个客户设置的预算优先 downgradeMap: { "gpt-5.5": "gpt-5.4-mini" }, store: new HostedStore({ apiKey: process.env.LLMBRAKE_API_KEY! }), }); 它还弥补了并发超支的缺口:每次调用前,guard 会预留该调用成本的估算值(prompt 大小加上 max_tokens,或 estimateUsd),只有在已花费金额加上其他在途预留金额低于预算时,预留才会在服务器的单个原子操作中成功。调用结束后,它会结算实际成本并释放预留(提供商调用失败时按 $0 释放)。这样并行调用最多只会超支约一次调用的金额,而不是所有在途调用的总和。如果 API 无法访问,guard 会遵循 failOpen(默认:放行调用)。 任何存储都可以通过实现 reserve 和 settle(ReservingStore 接口)来选择启用此机制。 createGuard(options) 返回 { wrap, check, status }。 作为第二个参数传给被包装函数的调用上下文为 { customerId: string; plan?: string; feature?: string }。 DEFAULT_PRICES 涵盖了一些常见的 OpenAI 和 Anthropic 模型,以每 1M token 的美元价格表示(标准层级),数据读取于 2026-10-09,来源为: 提供商价格经常变动,这些数值不保证是最新的。在将其用于计费决策之前,请对照上述页面进行检查。每个条目都带有一个 source 字段。覆盖或扩展价格表: import { createGuard, DEFAULT_PRICES } from "llmbrake"; createGuard({ budgetUsd: 5, prices: { ...DEFAULT_PRICES, "my-model": { inputPerMTok: 1, outputPerMTok: 3 } }, }); 像 gpt-5.4-mini-2026-03-17 这样带日期的快照 ID 会回退到不带日期的条目。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →