返回资讯中心
外部精选
软件工程
#开发者实时流

AI助手回复一句“hi”为何消耗1.8万token

来源标题:Why is your AI using so many tokens?

用户向AI助手输入“hi”,用量计却显示消耗了18000个token,其中用户的输入只占1个。原因是每次请求都会完整重发系统提示、工具描述(含名称、说明和JSON schema)以及对话内容,这些在首条消息前就已达数千token。模型本身不保留对话记忆,每次回答后即遗忘全部内容。

Hacker News 最新Raed6672026/11/4 · 13 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

你在 AI 助手里输入一句“hi”,用量表却毫无征兆地显示 18,000 tokens。其中 1 个 token 是你的。我们来看看剩下的都去哪了。

AI 聊天应用展示给你的是一个对话。模型对此毫无概念。

模型看到的是一整块文本,每次你发送消息时,它都会从头重建并完整发送,而一旦回答发出,它就把这一切全部忘掉。

这个面板展示了两侧:你看到的聊天界面,以及实际发送给 LLM 的内容。

你打开一个新对话,这个助手能读取你的 Drive 和收件箱,你输入“hi”。

在你的消息之前,应用会在前面放一段 system prompt。指令就放在那里,比如助手是谁、它绝不能做什么。

通常在你发出第一条消息之前,就已经有几千个 token 了。

然后是工具。助手能执行的每一个动作(搜索你的 Drive、编辑文档或起草邮件)都会在请求中描述,包括名称、描述和一个 JSON schema,告诉 agent 如何调用它。

模型只能调用它被告知存在的东西,所以这些内容每次请求都会一并发送。

你的“hi”现在是这个 18,000 token prompt 里最小的东西。你每添加一个连接器,不管用不用得上,它都会变得更大。

如果你使用 Claude Code,/context 会显示你自己会话的这项明细。

输出是昂贵的部分,在大多数模型上是输入 token 价格的 4 到 8 倍。

模型对你的第一次请求没有任何记忆。

每一轮,应用都会把整个对话再发一遍:工具、system prompt、你的“hi”、它的回复,然后是你最新的消息放在最下面。

对话存在于客户端,每个请求都携带完整历史。界面只是假装模糊了模型所做的事和应用为你处理的事之间的界限。

继续聊下去,每个请求都会比前一个大一点。

你粘贴了上季度的报告,从此它就会跟着每一个请求一起发送。

6 轮之后,你大约输入了 2,600 个 token,而模型已经收到了约 120,000 个 token。

每个请求都要为之前的所有内容再付一次费。没有缓存的话,这个总量会随对话长度的平方增长。

你问模型一个复杂问题,这会触发一些推理。

聊天界面显示一个折叠的“Thought for 21s”。那是模型在回答之前(对自己)写下的 2,100 个 token 的文本。

思考 token 就是普通的输出 token。它们按输出价格计费,即使应用只给你看一个摘要,或者什么都不显示。

大多数现代模型会在对话的每一轮都保留这些思考内容。

这就是你随身携带的额外 2,100 个 token,为你看都看不到的输出付费。

如果没有缓存,这一切都会很痛苦(而且贵得离谱)。

实际上,提供商会在自己的内存中保留你的对话一小段时间。

当下一个请求以完全相同的 token 开头时,那部分就是缓存命中。

带条纹的块就是命中。在 Claude Sonnet 5.5 上,缓存读取费用是正常输入价格的 0.05 倍。

只有自上次请求以来新增的内容才会写入缓存,按 1.25 倍计费。

问题在于:缓存的生命周期很短。对 Anthropic 来说,是 5 分钟,而且每次命中都会重置计时,所以只要你一直在回复,它就能保持温热。

缓存没了,所以整个内容会被重新处理并以 1.25 倍写入缓存。那个请求的花费大约是喝咖啡休息前那个请求的 15 倍。

缓存覆盖从 prompt 顶部一直到第一个不同 token 之前的所有内容。

由于工具定义在最顶部,改动它们会使整个缓存失效。

你在会话中途连接了 Slack。它的工具定义落在 prompt 顶部,你的缓存被重置了。

你希望你的 agent 既能干又聪明。

你让它做一份复杂的报告。助手调用一个工具,拿到结果,再调用另一个。

每一步都是一个单独的请求,每一个都会重新发送它之前的所有内容,加上最新的工具结果。

你只发了一条消息,模型却收到了 4 个请求。

它读过的那些周报现在是 prompt 里最大的块。

当助手处理你的文件时,上下文就消耗在工具结果上。

到目前为止,这个面板都是放大显示的。这是同一个对话,对照 200,000 token 的上下文大小绘制。这是模型在一次请求中能读取的内容的硬性上限。

一下午的报告工作之后,读了电子表格、邮件线程和 PDF,prompt 已经悄悄逼近虚线,也就是压缩阈值。

它读过的每一份文档仍然在里面,每次请求都会再发一遍。

当上下文越过这个阈值时,助手会对它进行压缩。

模型会写一份到目前为止的对话摘要,应用用这份摘要替换掉较早的轮次。

工具和 system prompt 保持原位,只有最近的消息和摘要一起保留下来。

大多数 agentic harness 会在窗口填满之前自动执行这一操作。

在 Claude Code 中,/compact 命令可以手动触发。

聊天历史不受影响,所以 UI 在骗你。模型已经不再拥有那些内容了。它拥有的只是一份 3,400 token 的、关于发生过什么的摘要。

你问 Q2 报告里关于供应商合同是怎么说的。

摘要保留了结论,丢掉了原文,所以模型能告诉你它当时决定了什么,但说不出报告里写了什么。

上下文窗口是模型唯一的记忆。里面的所有内容每次请求都要再付一次费,而被压缩掉的内容对模型来说已经消失,尽管它还留在你的屏幕上。

希望这有助于揭开 agent 工作原理的迷雾,以及你为什么这么快就用掉了这么多 token。

如果有任何问题,欢迎在下面留言。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →