
报道梳理GPT-3.5以来美国五大实验室LLM发布频率、token上限与定价变化
来源标题:LLM Releases, Token Limits, and Pricing Since GPT 3.5
一篇分析梳理了自2022年11月ChatGPT发布以来,OpenAI、Anthropic、Google、Meta和xAI五家美国实验室的专有模型发布情况,聚焦发布频率、token上限和token定价三项指标。数据截至2026年11月11日,模型按实验室定位分为经济型和均衡型等类别进行比较。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享
自从2022年11月ChatGPT在GPT-3.5驱动下问世以来,软件行业迅速将LLM推向了舞台中央。对许多软件工程师来说,如今的工作或多或少都涉及LLM——无论是用它们写代码、开发模型本身、构建模型运行的基础设施,还是将它们集成到产品中。
但自从LLM成为主流以来,模型本身发生了怎样的变化?人们很容易被每一次新发布牵着走,而意识不到我们已经走了多远。
如同站点可靠性工程的做法,我想先从指标入手。
作为本系列的第一部分,本文聚焦于模型发布频率、token上限和token定价。
我希望这项初步分析聚焦于市场领导者,因此考察了五家美国实验室截至2026年11月11日的主要专有模型发布。大多数图表以OpenAI、Anthropic和Google为起点。你也可以选择Meta和SpaceX/xAI。
为了避免苹果比橘子,我按各实验室对模型的定位进行了分组。
经济型:为低成本和快速响应而构建的模型,尤其适用于应用需要大量调用的场景。
均衡型:日常模型,旨在在能力、速度和成本之间取得实用平衡。
旗舰型:公司的主力高能力模型,面向更高要求的工作负载。
高端型:定位高于常规旗舰的模型,强调进一步推进能力边界。
我的猜测是,更好的开放权重模型正在对经济型层级施加压力。如果可以用廉价的开放权重模型运行日常任务,人们就没什么理由去使用可能更昂贵的专有模型。
容量图表展示了每个模型有文档记录的标准API上限,按模型发布日期绘制。虚线是迄今为止发布的最高上限。实心点是在发布后30天内有文档记录的。空心点来自后来的文档,主要是当前文档,因此发布当天的上限可能有所不同。
输入token上限限制了你发送的内容,包括指令、聊天记录和文档。一些Gemini模型分别公布输入和输出上限,方便你提前核对各自的预算。Claude也记录了一个共享窗口。在100K共享窗口中,80K的提示词最多留下20K用于生成。图表中,独立的输入上限用圆形表示,共享窗口用菱形表示。
上下文窗口是API允许模型一次处理的信息量。在共享窗口中,这包括提示词、其历史记录以及该轮生成的token。
Google在Gemini 1.5 Pro上提供了2M token的上下文窗口,但自2025年以来没有任何发布接近这一水平。对于旗舰模型,2026年发布的12个上下文窗口中有10个约为1M token,而2025年是16个中有4个。
在如今大多数任务中,如果agent运行在良好的harness中,1M似乎已经足够。压缩会总结较早的轮次,为会话继续腾出空间。Agent记忆会把决策和进展等信息保存在窗口之外,以便下一次会话能从上一次中断的地方继续。如果harness保留了原始记录,它可以根据需要把细节重新拉回来。当任务需要同时看到大量原始材料时,更大的窗口仍然有帮助。
输出token上限限制了模型在单次请求中生成的内容。在某些API上,内部推理和可见答案都从同一预算中支出。提供商必须为长答案和推理留出空间,同时保持响应时间、服务容量和每请求成本可控。
在2026年的数据中,三家实验室有文档记录的标准输出上限分为两档。Anthropic和OpenAI为128k token,Google为65k。Gemini 4可以通过long decode在该默认值之外生成。
Prefill并行处理提示词并构建键值(KV)缓存。Decode在逐个生成token时读取并扩展该缓存。在聚合式服务中,两个阶段共享GPU。在分离式服务中,独立的GPU分别处理每个阶段,并将缓存从prefill传递到decode。
Prefill通常是计算密集型的,而decode往往受内存带宽限制。这一差异有助于解释为什么提供商对输入和输出收取不同的费率。
以下价格是API发布时的标价。它们不包括后来的降价、缓存或批量折扣,也不包括任务实际使用了多少token。
在四个层级中,输入和输出价格的走势各不相同。在经济型中,OpenAI的价格总体较低,但在各次发布之间波动较大。Anthropic的价格从Claude 3 Haiku到Haiku 4.5上涨,随后在Haiku 5.5上下降了10倍。GPT-6 Luna和Haiku 5.5的发布价均为每百万token输入$0.10、输出$0.50,这印证了我上面提到的开放权重压力。
在均衡型中,Google的Flash价格从早期的低点上涨,而Anthropic在几代产品中保持Sonnet价格稳定,随后下调了两项费率。
在OpenAI和Anthropic,旗舰型的输入和输出价格远低于早期水平。Google的起点低得多,随后上涨。
生成一个token的成本高出多少?数据中旗舰型输出/输入成本比的中位数为5倍。即使两项价格都在下降,该比率也可能上升。GPT-4发布时为每百万token输入$30、输出$60(2倍)。GPT-5发布时为$1.25和$10(8倍)。GPT-6.1 Sol又回到了5倍。
服务效率和定价决策都可能推动该比率变化。发布时,Gemini 2.5 Flash Preview的输入价格为每百万token $0.15,但开启思考后,输出费率从$0.60升至$3.50。同一个模型根据思考级别的不同,比率从4倍升至约23倍。
围绕降低推理成本,无论是在prefill还是decode阶段,都有大量持续进行的研究。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。