分析发现LLM成本模型重复计算批量与缓存折扣
来源标题:Our LLM cost model was double-counting batch and cache discounts
一项基于2026年11月11日价格目录的分析指出,LLM成本模型重复计算了批量与缓存折扣。目录中18个模型有16个提供批量折扣,输入输出均按实时价格五折计价,但该折扣仅适用于可延迟的请求,实际节省为50%乘以可批量比例,例如20%可批量时仅省10%。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
LLM 定价里,batch API 是最不复杂的折扣。把请求打包成文件而不是流式提交,接受结果 24 小时内返回而不是两秒,价格减半。不用改 prompt,不用换模型,不用牺牲质量。每家主流厂商都提供,折扣数字几乎总是一样的。
所以问题不是它有没有用,而是 50% 的折扣是不是你该首先去拉的杠杆——对大多数团队来说,并不是。以下是算术,来自我们 2026-11-11 核验的目录。
目录里 18 个模型中有 16 个提供 batch 档位,且每一个的输入和输出定价都恰好是实时价格的一半。这种一致性让这个卖点好记,也容易被误用,因为折扣只作用于你真正能推迟的那部分流量:
有效节省 = 50% ×(可等待的调用占比) 100% 可 batch → 省 50% 60% 可 batch → 省 30% 20% 可 batch → 省 10%
大多数产品并不是 100% 可推迟的。聊天机器人是 0%——用户在等。RAG 管道在查询时是 0%,尽管它背后的 embedding 和摘要环节未必如此。真正达标的负载都是些无聊的活:夜间文档处理、批量分类、回填、评测、合成数据生成。这也是为什么我们的 Document processor 原型是唯一默认开启 batch 的预设。
每天 5,000 份文档,每份输入 8,000 token、输出 800 token,其余用引擎默认值(8% 重试率、40% 缓存命中率、15% 基础设施开销、按模型校准 tokenizer):
注意节省落在略低于 50% 的位置,而不是正好 50%。差异来自重试:失败的调用仍然消耗 token,我们按实时价格计入了这部分开销。这是一个刻意保守的小缺口。
这部分最容易让人栽跟头,也让我们出过一个 bug。如果缓存能省下约 90% 的输入费用,batch 能省下所有费用的 50%,很容易想把两者相加、期待接近 140%——或者更合理一点,期待 batch 在你已经打折的账单上再打五折。两种都不会发生。
厂商是把两者相乘叠加的,而 batch 折扣作用于你实际被计费的部分。batch 任务里的一次缓存读取,成本是 cached_rate × 0.5。所以 batch 折扣是在你缓存后的支出上打的,不是在标价上:
in_spend = in_cost - cache_savings # 你实际被计费的部分 batch_savings = (in_spend × 0.5 + out_cost × 0.5) × batch_pct
结果反直觉:100% 可 batch 时你的账单正好减半,缓存命中率不会改变这一点。缓存和 batch 不是可以叠加、通往更深折扣的两个杠杆。缓存决定你花多少,batch 把那个结果减半。
不过有一个值得知道的二阶效应。缓存压缩了账单里的输入部分,也就改变了 batch 发挥作用的位置。在这个负载上,Claude Sonnet 5.5 的输入占单次调用原始成本的 67%——但 40% 的缓存命中率生效后,你仍需付费的输入只占其中的 55%。缓存做得越好,batch 折扣里真正来自输出 token 的部分就越多。输出密集型的活从 batch 得到的好处比价目表显示的更多;输入密集型且缓存做得好的活则更少。
自己设定可 batch 占比和缓存命中率,看两者如何相互作用。
Batch 的上限是 50%。能力档位之间的差距则没有上限。同样的负载,Claude Sonnet 5.5 把所有调用都 batch 掉是每月 $2,648——而 Claude Haiku 5.5 按实时价格全速即时响应,是每月 $262。
更便宜的档位胜出 90%,还把延迟还给了你。这个排序要记牢:选你任务真正需要的能力档位,把缓存跑起来,然后才决定哪些可以等 24 小时。一上来就用 batch,意味着为了追三个杠杆里最小的那个,接受一个硬性的延迟约束。
这里有 2 个模型没有 batch 档位:Muse Spark Open 816B、Muse Glimmer 30B。它们都是推理平台上的开放权重模型,这个缺失是产品决策而非疏忽——那些平台卖的就是延迟。向它们要一个又慢又便宜的队列,等于要它们在刻意没选的维度上竞争。
如果 batch 的经济性对你的架构是承重结构,那不管这几行在价格上排到哪里,都直接被排除。能力筛选砍掉的选项比价格更多。
一个值得知道的真正例外。DeepSeek 没有 batch API;它有的是错峰定价——在 UTC 01:00–04:00 和 06:00–10:00 之外,每个 token 都打五折。我们把它建模在 batch 字段里,因为算术完全相同,但机制在一个具体方面更好:你以实时延迟拿到折扣价,只是仅限特定时段。没有哪个 batch 档位能给你这个。如果你的批量活本来就在欧洲或美国时区的夜间跑,你可能什么都没做就已经在享受折扣价了。
拿你自己的可 batch 占比去跑整个目录吧。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。