
AI助手回复一句“hi”为何消耗1.8万token
来源标题:Why is your AI using so many tokens?
用户向AI助手输入“hi”,用量计却显示消耗了18000个token,其中用户的输入只占1个。原因是每次请求都会完整重发系统提示、工具描述(含名称、说明和JSON schema)以及对话内容,这些在首条消息前就已达数千token。模型本身不保留对话记忆,每次回答后即遗忘全部内容。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
你在 AI 助手里输入一句“hi”,用量表却毫无征兆地显示 18,000 tokens。其中 1 个 token 是你的。我们来看看剩下的都去哪了。
AI 聊天应用展示给你的是一个对话。模型对此毫无概念。
模型看到的是一整块文本,每次你发送消息时,它都会从头重建并完整发送,而一旦回答发出,它就把这一切全部忘掉。
这个面板展示了两侧:你看到的聊天界面,以及实际发送给 LLM 的内容。
你打开一个新对话,这个助手能读取你的 Drive 和收件箱,你输入“hi”。
在你的消息之前,应用会在前面放一段 system prompt。指令就放在那里,比如助手是谁、它绝不能做什么。
通常在你发出第一条消息之前,就已经有几千个 token 了。
然后是工具。助手能执行的每一个动作(搜索你的 Drive、编辑文档或起草邮件)都会在请求中描述,包括名称、描述和一个 JSON schema,告诉 agent 如何调用它。
模型只能调用它被告知存在的东西,所以这些内容每次请求都会一并发送。
你的“hi”现在是这个 18,000 token prompt 里最小的东西。你每添加一个连接器,不管用不用得上,它都会变得更大。
如果你使用 Claude Code,/context 会显示你自己会话的这项明细。
输出是昂贵的部分,在大多数模型上是输入 token 价格的 4 到 8 倍。
模型对你的第一次请求没有任何记忆。
每一轮,应用都会把整个对话再发一遍:工具、system prompt、你的“hi”、它的回复,然后是你最新的消息放在最下面。
对话存在于客户端,每个请求都携带完整历史。界面只是假装模糊了模型所做的事和应用为你处理的事之间的界限。
继续聊下去,每个请求都会比前一个大一点。
你粘贴了上季度的报告,从此它就会跟着每一个请求一起发送。
6 轮之后,你大约输入了 2,600 个 token,而模型已经收到了约 120,000 个 token。
每个请求都要为之前的所有内容再付一次费。没有缓存的话,这个总量会随对话长度的平方增长。
你问模型一个复杂问题,这会触发一些推理。
聊天界面显示一个折叠的“Thought for 21s”。那是模型在回答之前(对自己)写下的 2,100 个 token 的文本。
思考 token 就是普通的输出 token。它们按输出价格计费,即使应用只给你看一个摘要,或者什么都不显示。
大多数现代模型会在对话的每一轮都保留这些思考内容。
这就是你随身携带的额外 2,100 个 token,为你看都看不到的输出付费。
如果没有缓存,这一切都会很痛苦(而且贵得离谱)。
实际上,提供商会在自己的内存中保留你的对话一小段时间。
当下一个请求以完全相同的 token 开头时,那部分就是缓存命中。
带条纹的块就是命中。在 Claude Sonnet 5.5 上,缓存读取费用是正常输入价格的 0.05 倍。
只有自上次请求以来新增的内容才会写入缓存,按 1.25 倍计费。
问题在于:缓存的生命周期很短。对 Anthropic 来说,是 5 分钟,而且每次命中都会重置计时,所以只要你一直在回复,它就能保持温热。
缓存没了,所以整个内容会被重新处理并以 1.25 倍写入缓存。那个请求的花费大约是喝咖啡休息前那个请求的 15 倍。
缓存覆盖从 prompt 顶部一直到第一个不同 token 之前的所有内容。
由于工具定义在最顶部,改动它们会使整个缓存失效。
你在会话中途连接了 Slack。它的工具定义落在 prompt 顶部,你的缓存被重置了。
你希望你的 agent 既能干又聪明。
你让它做一份复杂的报告。助手调用一个工具,拿到结果,再调用另一个。
每一步都是一个单独的请求,每一个都会重新发送它之前的所有内容,加上最新的工具结果。
你只发了一条消息,模型却收到了 4 个请求。
它读过的那些周报现在是 prompt 里最大的块。
当助手处理你的文件时,上下文就消耗在工具结果上。
到目前为止,这个面板都是放大显示的。这是同一个对话,对照 200,000 token 的上下文大小绘制。这是模型在一次请求中能读取的内容的硬性上限。
一下午的报告工作之后,读了电子表格、邮件线程和 PDF,prompt 已经悄悄逼近虚线,也就是压缩阈值。
它读过的每一份文档仍然在里面,每次请求都会再发一遍。
当上下文越过这个阈值时,助手会对它进行压缩。
模型会写一份到目前为止的对话摘要,应用用这份摘要替换掉较早的轮次。
工具和 system prompt 保持原位,只有最近的消息和摘要一起保留下来。
大多数 agentic harness 会在窗口填满之前自动执行这一操作。
在 Claude Code 中,/compact 命令可以手动触发。
聊天历史不受影响,所以 UI 在骗你。模型已经不再拥有那些内容了。它拥有的只是一份 3,400 token 的、关于发生过什么的摘要。
你问 Q2 报告里关于供应商合同是怎么说的。
摘要保留了结论,丢掉了原文,所以模型能告诉你它当时决定了什么,但说不出报告里写了什么。
上下文窗口是模型唯一的记忆。里面的所有内容每次请求都要再付一次费,而被压缩掉的内容对模型来说已经消失,尽管它还留在你的屏幕上。
希望这有助于揭开 agent 工作原理的迷雾,以及你为什么这么快就用掉了这么多 token。
如果有任何问题,欢迎在下面留言。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。