Hadley Wickham 用 Kimi K3 数据测算 AI token 真实成本

Hadley Wickham 2026年11月3日 23 5 1 分享 我听到很多人怀疑 AI token 的定价不可持续，认为前沿实验室正用风投的钱大量补贴成本。他们想先让我们上瘾，然后随时抽走地毯大赚一笔。真是这样吗？我的感觉是，大体上并非如此。但我能用数据来支撑这个判断吗？这就是本文的目标。

现在有很多开源模型可用，但这里我重点讨论 Kimi K3。过去几个月我一直在大量使用它，有意思的是，即使在 Opus 5.5 发布之后，我仍继续用它。在我看来，Opus 5.5 确实比 Kimi K3 更聪明一些，但我发现自己还是会被 Kimi K3 的性价比吸引。我想在以后的文章里多谈谈这一点，因为它与我特别喜欢的一个 Posit Assistant 功能有关：成本显示。这是一个很有力的工具，能帮你建立对模型在哪里花钱、以及某个任务应当花多少钱的直觉。

Posit Assistant 聊天框，显示当前对话的累计成本（34K tokens，$0.94），旁边是设为 Kimi K3 的模型选择器。 所以 Kimi K3 可以作为一个可靠前沿模型的合理参照：也许它没那么好，但已经非常接近了。它要多少钱？

因为它是开源模型，你可以从一系列提供商那里购买 Kimi K3。以下是 OpenRouter 上的当前定价。我加了一列“混合价”，采用 agentic coding 的典型比例：输入与输出为 20:1，95% 的输入来自缓存。后面我们把它与自建部署的成本作比较时会用到。 #> 提供商 输入/M 输出/M 缓存/M 混合/M #> Wafer 0.28 9.60 0.13 0.59 #> Sail Research 0.22 10.72 0.11 0.62 #> Relace 0.21 9.33 0.21 0.64 #> Makora 0.36 12.00 0.12 0.70 #> Chutes 1.85 9.50 0.18 0.71 #> Decart 1.95 9.75 0.20 0.73 #> ParetoAlpha 1.00 11.25 0.23 0.79 #> Fireworks 2.10 10.50 0.21 0.79 #> Phala 2.55 12.75 0.26 0.96 #> DigitalOcean 2.55 12.95 0.26 0.97 #> InferenceNet 0.23 16.50 0.20 0.97 #> Morph 1.42 12.00 0.40 1.00 #> DeepInfra 2.85 14.25 0.28 1.07 #> Amazon Bedrock 3.00 15.00 0.30 1.13 #> Parasail 3.00 15.00 0.30 1.13 #> Modal 3.00 15.00 0.30 1.13 #> Together 3.00 15.00 0.30 1.13 #> BaseTen 3.00 15.00 0.30 1.13 #> Moonshot AI 3.00 15.00 0.30 1.13 #> Alibaba 3.45 17.25 0.34 1.30 #> AkashML 1.20 14.00 1.20 1.81 （抱歉格式很糟，但 Substack 似乎不支持表格 😡）

你会注意到可选方案非常多！我敢打赌大多数购买决策都是由成本驱动的，这意味着这些提供商面临很大的价格竞争压力。

那是什么阻止了某种补贴把价格压到不可持续的低位呢？我敢说一些最便宜的提供商确实在花风投的钱来争取客户。但与此同时，也有六家提供商在高价位段以大致相同的价格出售。其中之一是 BaseTen，我们与他们合作，为 Posit AI Pass 提供模型。我可以亲自为这项服务的质量作证；它不是最便宜的，但我们与他们的合作体验非常好。

以上是“现成”购买 Kimi K3 的情况。如果我们试着自己托管呢？

我不是本地模型的专家，所以我借助 Claude 来帮忙估算成本。我在写这篇文章时仔细核对了各项事实，但有可能 Claude 把我引向了完全错误的方向，存在我漏掉的更深层问题。不过我们还是试一下吧。

首先我们需要买一台能托管 Kimi K3 的计算机。这要花多少钱？Moonshot AI（Kimi K3 的作者）提供了一份 vLLM 配置方案，建议“至少 8x GB300”。一个可能的选择是 Supermicro 8U GPU SuperServer，价格高达 55 万美元！我手头没有五十万美元闲钱，所以得借钱买。假设利率 8%（这可能还算乐观）、期限 3 年，那我们每月要花大约 1.7 万美元。

你也可以改为租用这 8 块 GPU，每块大约 4 美元/小时；把托管成本（下面会讨论）算进去后，总额差不多。借钱买下的好处是三年后可以卖掉，也许能净得 15 万美元。租用的好处是随时可以停。

现在我们需要把服务器放在某个地方。这叫作服务器托管设施（colocation facility）。虽然这类价格信息一般不在网上公开，但 Claude 声称大约每月 3,750 美元，再加 600 美元带宽费和约 700 美元电费。你也许可以考虑把服务器放在家里，但它会产生巨大的热量，你得为它买一台专用空调。

还有其他一些零零碎碎的小项，会把每月总成本推到大约 2.3 万美元。

一个月能服务多少 token？SemiAnalysis 提出每块 GPU 约 6000 tokens/s，那么就是 48,000 tokens/s，即每月 1240 亿 tokens。如果假设利用率为 75%（对 API 提供商来说合理），那就是每百万 tokens 0.25 美元。如果按 agentic coding 的典型比例（输入与输出 20:1，95% 的输入来自缓存），等效的 API 成本（BaseTen 等）将是每百万 tokens 1.13 美元。假设我们有很高的容量，那么运行服务器的成本似乎明显低于提供商的收费。

显然这是一个粗略的分析，但它是服务 token 成本的一个合理上限估计。真正的企业会受益于规模经济以及与供应商谈判的能力，但也必须支付员工工资。

所以我想我被说服了：token 价格相当准确地反映了底层成本。大量竞争在压低成本，但基于底层成本来看，似乎仍有健康的利润空间。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）