
LLMBrake 发布:为 OpenAI/Anthropic API 调用设置按客户美元预算上限
来源标题:Show HN: LLMBrake – Per-customer dollar caps for OpenAI/Anthropic API calls
LLMBrake 是一个 TypeScript 库,可对每个客户设置每月美元预算,在接近上限时自动切换到更便宜的模型,达到上限则拦截请求。它根据供应商返回的 token 用量以美元计价并累计月度总额,超预算时抛出 BudgetExceededError。目前版本为 0.1.0,已在 npm 发布。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
按客户设置 AI 应用成本上限:为每个客户设定每月美元预算,接近上限时切换到更便宜的模型,达到上限时直接拦截。
llmbrake 是一个小型 TypeScript 库,用于包装你的 OpenAI 兼容 chat.completions.create 调用。它根据提供商返回的 token 用量,以美元计价每次调用,并按客户维护月度累计总额。当客户接近预算时,它会换用更便宜的模型;达到预算时,它会在请求到达提供商之前抛出类型化的 BudgetExceededError。
状态:0.1.0,早期版本。网站:llmbrake.com
npm install llmbrake
已以 llmbrake 为名发布到 npm。如果想试用最新的 main 分支,请运行 npm install github:llmbrake/llmbrake(安装时会自动构建)。
llmbrake 仅支持 ESM(使用 import,而非 require)。
import OpenAI from "openai";
import { createGuard, isBudgetExceededError } from "llmbrake";
const openai = new OpenAI();
const guard = createGuard({
budgetUsd: (ctx) => (ctx.plan === "pro" ? 20 : 2), // 每个客户每个自然月(UTC)的美元预算
downgradeAt: 0.8, // 达到预算的 80% 时……
downgradeMap: { "gpt-5.5": "gpt-5.4-mini" }, // ……将 gpt-5.5 请求发送到 gpt-5.4-mini
});
const chat = openai.chat.completions;
const create = guard.wrap(chat.create.bind(chat));
try {
const res = await create(
{ model: "gpt-5.5", messages: [{ role: "user", content: "Hello" }] },
{ customerId: user.id, plan: user.plan, feature: "chat" },
);
} catch (e) {
if (isBudgetExceededError(e)) {
// e.customerId, e.spentUsd, e.budgetUsd, e.period
return showUpgradePrompt();
throw e;
await guard.status({ customerId: user.id, plan: user.plan });
// → { period: "2026-10", spentUsd: …, budgetUsd: 20, remainingUsd: … }
工作原理
每个被包装的调用都会经过三个步骤:
customerId: "cus_123", plan: "pro", feature: "chat", period: "2026-10",
requestedModel: "gpt-5.5", model: "gpt-5.4-mini", downgraded: true,
promptTokens: 1102, completionTokens: 182, cachedTokens: 640,
costUsd: 0.0012, spentUsd: 16.41, budgetUsd: 20, timestamp: "2026-10-11T20:00:00.000Z"
guard.check(ctx, model) 会执行步骤 1–2 而不发起调用,适合在用户点击之前禁用按钮。
使用 stream: true 时,llmbrake 会设置 stream_options.include_usage = true,并在流结束时记录成本,包括你的代码提前停止读取的情况(届时已收到的用量都会被记录)。
任何接受 { model, ... } 并返回 { model, usage: { prompt_tokens, completion_tokens } } 的 create(params) 函数都可以使用,例如 OpenRouter、Anthropic 的 OpenAI 兼容端点以及本地网关。将它们对应的模型 ID 加入价格表即可。
CI 会针对 mock 提供商运行这些测试(无需 API key)。
默认的 MemoryStore 将累计总额保存在进程内存中:适用于单服务器、测试和演示,但重启后会丢失,且无法在实例之间共享。对于多实例或 serverless 场景,请实现包含两个方法的 UsageStore 接口。使用 ioredis 时:
import Redis from "ioredis";
import { createGuard, type UsageStore } from "llmbrake";
const redis = new Redis(process.env.REDIS_URL!);
const key = (customerId: string, period: string) => llmbrake:${period}:${customerId};
const redisStore: UsageStore = {
async getSpend(customerId, period) {
return Number((await redis.get(key(customerId, period))) ?? 0);
async addSpend(customerId, period, usd) {
const k = key(customerId, period);
const res = await redis
.multi()
.incrbyfloat(k, usd)
.expire(k, 60 * 60 * 24 * 40) // 保留约 40 天,之后让旧月份过期
.exec();
const [err, total] = res?.[0] ?? [new Error("Redis transaction failed"), null];
if (err) throw err;
return Number(total);
};
const guard = createGuard({ budgetUsd: 5, store: redisStore });
INCRBYFLOAT 是原子操作,因此跨实例的累计总额能保持正确。如果存储抛出异常(或返回非数值),调用默认会 fail open,以保证你的产品继续工作;设置 failOpen: false 可改为 fail closed。
HostedStore 将计数器保存在 LLMBrake Cloud 中,因此使用你项目 API key 的每个服务器和 serverless 实例都会共享每个客户的同一份计数器,你在仪表板中编辑的预算会在下一次调用时生效,且无需运行 Redis:
import { createGuard, HostedStore } from "llmbrake";
const guard = createGuard({
budgetUsd: 5, // 默认值;仪表板中为某个客户设置的预算优先
downgradeMap: { "gpt-5.5": "gpt-5.4-mini" },
store: new HostedStore({ apiKey: process.env.LLMBRAKE_API_KEY! }),
});
它还弥补了并发超支的缺口:每次调用前,guard 会预留该调用成本的估算值(prompt 大小加上 max_tokens,或 estimateUsd),只有在已花费金额加上其他在途预留金额低于预算时,预留才会在服务器的单个原子操作中成功。调用结束后,它会结算实际成本并释放预留(提供商调用失败时按 $0 释放)。这样并行调用最多只会超支约一次调用的金额,而不是所有在途调用的总和。如果 API 无法访问,guard 会遵循 failOpen(默认:放行调用)。
任何存储都可以通过实现 reserve 和 settle(ReservingStore 接口)来选择启用此机制。
createGuard(options) 返回 { wrap, check, status }。
作为第二个参数传给被包装函数的调用上下文为 { customerId: string; plan?: string; feature?: string }。
DEFAULT_PRICES 涵盖了一些常见的 OpenAI 和 Anthropic 模型,以每 1M token 的美元价格表示(标准层级),数据读取于 2026-10-09,来源为:
提供商价格经常变动,这些数值不保证是最新的。在将其用于计费决策之前,请对照上述页面进行检查。每个条目都带有一个 source 字段。覆盖或扩展价格表:
import { createGuard, DEFAULT_PRICES } from "llmbrake";
createGuard({
budgetUsd: 5,
prices: { ...DEFAULT_PRICES, "my-model": { inputPerMTok: 1, outputPerMTok: 3 } },
});
像 gpt-5.4-mini-2026-03-17 这样带日期的快照 ID 会回退到不带日期的条目。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。