返回资讯中心
外部精选
软件工程
#开发者实时流

开发者提议让编码代理丢弃无用工具输出,避免每轮重复读取

来源标题:Let coding agents drop junk tool output instead of re-reading it every turn

一项提案建议让 AI 编码代理在首次看到无用的工具输出时,就将其替换为一行摘要,而不是在后续每轮对话中重复读取。该提案称,由于提示缓存基于前缀,只有对话尾部变化,因此一次性重新缓存的成本很小,可长期保持上下文干净。相关议题已提交至 17 个 agent harness。

Hacker News 最新nicezic2026/11/5 · 12 天前9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

让 agent 在第一次看到无用工具结果的那一轮,就用一行摘要替换它。只付一次成本,之后的整个会话上下文都能保持干净。

为什么预防式手段解决不了这个问题

你打开一个文件或运行一条命令,是因为你不知道里面有什么,所以你也无法预判输出。

人会瞥一眼无用内容然后移开视线。模型则每一轮都要重读一遍。

这个方案让模型也有了“移开视线”的能力。

已于 2026-11-05 提交到 17 个 agent harness(列表见下)。如果你也遇到这个问题,去你所用 harness 的 issue 下点个 👍 会有帮助。

现状 turn N grep -r ... ──► 约 40 KB 的 target/ 构建指纹 模型 ──► “呃,无关”(但没法丢掉) turn N+1..50 每次请求 ──► 重发同样的约 40 KB ❌ 成本增加 + 注意力被稀释

提议方案 turn N grep -r ... ──► 约 40 KB 模型 ──► prune_tool_result(call_id, "grep 命中 target/ 指纹,无关") 当前上下文 ──► [已剪除] grep 命中 target/ 指纹,无关(1 行) turn N+1..50 每次请求 ──► 1 行 ✅

为什么成本低:只有尾部变化

[ instructions | turns 1 .. N-1 | 无用输出 | turn N 剩余部分 ] └───── 已缓存的 prefix:保留 ──────┘ └── 重新缓存一次(很小)──┘

Prompt caching 基于前缀,所以从当前轮中剪除某个结果后,它之前的所有内容仍然处于缓存状态。

而且窗口实际增长的量超过无用内容本身所占的份额:

谁 得到什么 用户 每个任务消耗的 token 更少 模型 干净的上下文,更好的回答 服务商 每个会话的 KV cache 更小,每块 GPU 能跑更多会话 地球 更少电力,更少需要建造的 GPU

无用内容是纯粹的开销:没有任何答案会因为构建指纹转储被反复重读而变好。每个 harness 都丢掉它,整个行业就能以更少的消耗完成同样的工作。

最便宜的瓦特,是你从未花掉的瓦特。

规则 原因 由模型判断 “这是无用内容”是语义判断,没有任何大小上限或规则能做出这个判断。 仅限尾部(当前轮) 已缓存的 prefix 得以保留;旧内容不会被重写。 可见 原始内容仍留在 transcript 中,附一行提示。不会有内容悄悄消失。

为什么现有机制不够用

以一个 3,000 行的 pytest 日志为例,其中只有一段 traceback 有用:

长时间自主运行(SWE-bench / Terminal-Bench 风格)会不断堆积无用内容,且没有人会注意到:

step 12 cat big_module.py ──► 5,000 行(需要:40 行) step 19 pytest ──► 3,000 行(需要:1 段 traceback) step 27 pip install -e . ──► 400 行(需要:0 行) step 33 find / -name "*.cfg" ──► 2,000 个路径(需要:1 个) ...之后的每一步都要把它们全部重读一遍

上下文卫生已经在带来可见收益:Anthropic 报告称,在一个内部 agentic-search 评测中,清除过期的工具结果带来 +29% 的提升,使用 memory tool 则带来 +39% 的提升(原文)。

Harness Issue Claude Code example/feedback#107424 Codex openai/codex#59622 GitHub Copilot CLI github/copilot-cli#5362 VS Code(chat agent) microsoft/vscode#346248 Gemini CLI google-gemini/gemini-cli#30152 Antigravity CLI google-antigravity/antigravity-cli#1429 Zed zed-industries/zed#66570(讨论) Qwen Code QwenLM/qwen-code#16392 Kimi Code MoonshotAI/kimi-code#4715 OpenCode anomalyco/opencode#62059 OpenHands OpenHands/software-agent-sdk#6514 Pydantic AI pydantic/pydantic-ai#12604 oh-my-pi can1357/oh-my-pi#18198 pi earendil-works/pi#11836 Devin CLI CognitionAI/devin-cli#51 OpenClaw openclaw/openclaw#193489 Hermes Agent NousResearch/hermes-agent#149489

未提交:没有公开 issue tracker 的 harness(Cursor、Grok Build、DeepSeek-Harness、ZCode)。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →