返回资讯中心
外部精选
软件工程
#开发者实时流

LiteLLM与Revenium的AI预算限制压力测试:默认配置下花费未记录、预算重启后重置

来源标题:We stress-tested AI spend limits under bursts and outages

测试显示,配置得当的LiteLLM在数据库中断下仍能将预算控制在约2.5%误差内,但其多项安全行为默认关闭,默认设置下出现花费未记录、重启后预算重置及客户超限一单的情况。Revenium计费精确到几分钱以内,但因按定时刷新的规则副本执行限制,超支随客户消费速度加快而扩大。测试于2026年10月基于LiteLLM v1.106.6和Revenium Python SDK 0.12.0进行,全部OpenAI调用成本不足2美元。

Hacker News 最新petreli122026/11/6 · 11 天前11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

作者:Peter Olayemi 与 Onatunde Oladimeji。 测试于 2026 年 10 月在 LiteLLM v1.106.6 和 Revenium Python SDK 0.12.0 上进行。 如果你销售 AI 功能并按用量向客户计费,那么预算上限就是一项关于你利润率的承诺。我们想知道,当情况变得混乱时——并行调用、超大响应、后端故障、重启以及数百个客户同时活跃——这项承诺还能守得住多少。于是我们测试了两款工具:流行的开源代理 LiteLLM,以及商业 AI 成本平台 Revenium。 简短的回答是:配置得当的 LiteLLM 在我们设置的每一项预算中都将偏差控制在约 2.5% 以内,即便经历了一次数据库故障也是如此。但它有几项最安全的保护行为默认是关闭的;在默认配置下,我们观察到消费未被记录、重启后预算被重置、客户能多挤过一次限制。Revenium 的账目精确到不足一美分,但它的强制执行依据的是一份按定时器刷新的规则副本,因此超支幅度会随客户花钱的速度而增大。 整套测试的 OpenAI 用量成本不到 2 美元。以下是我们做了什么、发现了什么。 我们写了一个小型 Python 测试框架,代表测试客户向 gpt-4o-mini 发送调用,每个客户都有自己的消费上限,并记录每次调用的成本、延迟以及是否被拦截。多数测试使用每个客户 0.05 美元的预算,小到大约 35 次调用就能超支。每个测试都从一个消费额为 0 的新客户开始,测试框架中设置了止损机制:任何一次运行一旦达到预算的三倍就会中止。 有两件事无法用图表呈现。Revenium 记录的消费在正常运行下与我们自己的统计相差不超过 0.00004 美元,说明其账目是可靠的;它的超支来自时序问题。而在开启 Redis 和 fail-closed 设置后,LiteLLM 在默认配置下的缺口都被补上了:大额调用在到达 OpenAI 之前就被拒绝,故障期间也没有任何记录丢失。 LiteLLM 处理并发的能力超出我们的预期。我们原以为 20 次调用的突发会直接冲破预算,因为每次调用都会在任何一个调用完成之前检查同一个计数器。结果 20 次里只有 4 次通过了。阅读源码可以解释原因:在转发调用之前,LiteLLM 会按最坏情况的成本(输入 token 加上 max_tokens)在客户预算中预留额度,而每个新调用都能看到仍在进行中的调用所预留的额度。调用完成后,预留额度按实际成本结算。一个被取消的流式调用按其输入成本结算,这与其实际成本很接近。 LiteLLM 的 fail-closed 设置会拦截超大调用。启用 fail_closed_budget_enforcement: true 后,如果某次调用的最坏情况成本超出剩余预算,它会在 25 毫秒内被拒绝,根本到不了 OpenAI。 启用 Redis 的 LiteLLM 挺过了我们尝试的每一次故障。设置 REDIS_HOST/REDIS_PORT 并启用 use_redis_transaction_buffer: true 后,Postgres 宕机期间记录的消费会被重新排队,并在其恢复后写入;超额客户在代理重启后仍保持被拦截状态。在 250 个客户同时活跃的情况下,每一个都在应当被拦截时被准确地拦截了。 这个代理带来的延迟开销很低。LiteLLM 增加的中位延迟约为 28 毫秒,95 分位约为 114 毫秒,与模型自身的响应时间相比微不足道。 Revenium 的账目是准确的。在正常运行下,它记录的消费与我们相差不超过 0.00004 美元;而且一旦它拦截了某个客户,即使我们切断它的连接,它也会继续拦截该客户。 在开启 Redis 和 fail-closed 设置后,这四个问题全部消失了。LiteLLM 有几个相关问题仍未关闭,包括 #35529、#34238 和 #43732;我们没有复现这些问题。 我们把这些测试做成了一个免费的开源工具 stipend-check。将它指向你的 LiteLLM 代理,大约两分钟内它就会报告哪些安全设置处于关闭状态,并用一个一次性客户跑一次小型实时测试,花费上限为五美分。对于 Revenium,它会检查你的设置以及 SDK 是否真的能读取你的规则,且不产生任何消费。你可以在 GitHub 上获取 stipend-check。 这些测试给我们留下了一个更大的问题。强制执行只是最后一步;在此之前,一家按 AI 用量向客户计费的公司需要知道每个客户的真实成本是多少、哪些客户在亏损或滥用免费额度、以及自己的定价是否合理。这正是我们正在做的事,项目名为 Stipend。 如果你向客户销售 AI 用量,而上面这些内容听起来似曾相识,我们很想听听你目前是如何处理的。我们正在寻找几位设计合作伙伴,试用早期版本并塑造我们要构建的东西。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →