
Tether 工具支持无网络离线重放 AI agent 运行记录
来源标题:Replaying an agent run and what it takes
Rust 工具 Tether 能以无网络、零成本的方式完整重放此前记录的 agent 运行,逐字段得到相同事件。它包装他人编写的 agent,拦截每次模型调用和工具调用,按策略检查后写入 trace。项目方称这一可重放特性已成为整体设计的核心依据。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Tether 是一个用 Rust 写的 harness,用来包裹别人写好的 agent。agent 发出的每一次模型调用和工具调用都会经过它,按策略进行检查,并写入 trace。本文要讲的是这种 trace 的一个特性:你可以依据它把 agent 重跑一遍,不用网络、不产生费用,得到同一次运行。不是相似的运行,而是同样的事件,逐字段相等。
这听上去像个日志功能。但它后来成了其他一切所依赖的那个设计决定,而要把它做到完全正确,比预想的要费心得多。这篇说明会讲为什么值得拥有它、让它成立的四个决定,以及它在什么地方会失效。
下面是一个小 agent 的录制运行:它写一条笔记,试图删除自己的工作区,被拒绝。重放它,并对比两次运行:
$ tether replay run.jsonl --out replay.jsonl every request was answered from the recording $ tether diff run.jsonl replay.jsonl step requests tool calls decisions (a/b) 1 1/1 1/1 2/2 same 2 1/1 1/1 2/2 same 3 1/1 1/1 2/2 same 4 1/1 0/0 1/1 same no divergence
单看这个,只是个花哨的把戏。当你改动一处再重放,它才变得有用,因为此时凡是出现差异的地方,都一定是由你改动的那处造成的。
改策略。策略是一次运行中唯一不会被回放的部分。它会被重新求值,所以你可以用新规则去检验一次旧的运行,看看它们当时会做出什么决定,而 agent 什么都不用做:
$ tether replay run.jsonl --policy strict.toml --out strict.jsonl $ tether diff run.jsonl strict.jsonl the two runs were held to different policies first divergence: step 1, policy.decision: the outcome differs a (seq 7): allow (rule write-workspace) b (seq 7): deny (rule write-workspace: denied by rule write-workspace)
一周的生产 trace 就是一套针对策略改动的测试套件,而且跑它不花任何成本。
改 prompt 或改模型。这时录制已经回答不了了,因为模型从来没被问过这个问题。重放会沿着录制走到第一个出现差异的请求,然后转入实时:真实模型、真实工具、全新的工作区。那一点之前的一切都是免费且完全一致的,而 diff 会显示两次运行分道扬镳的那个确切请求。
在一套用例上这么做。tether eval 就是这个,做二十次,再加上对每条新 trace 的断言:它跑完了吗,它有没有超出成本上限,有没有东西被拒绝,它写文件了吗。在仓库的示例里,针对真实模型录制的二十个任务,全部能对着它们自己的录制通过。换成一个要求 agent 收拾好自己留下的东西的 prompt 再问一遍,有一个失败,因为 agent 试图执行 rm,而策略拒绝了它。表里会点出是哪条规则。
Tether 里没有 eval 引擎。Eval 就是 replay、diff 和一张表。崩溃后的恢复,就是重放到最后一个 checkpoint,然后转入实时。trace 查看器和 OpenTelemetry 导出读的是同一个文件。它们都不需要新的状态,这就是第一个决定。
Tether 中的一次运行就是一个只追加的文件,每行一个 JSON 事件。规则是:系统的任何部分都不得持有任何不同时也是该文件中一个事件的东西。花掉的预算、运行的状态、一个等着人回答的问题:只要它重要,它就在 trace 里。
这条规则说起来容易,守起来烦人。内存里一份消息历史的缓存就是状态。一个已花美元数的计数器就是状态。只要它能从文件重建,每一个都没问题;而一旦不能,它就是个 bug。
这条规则换来的是:它之后的每个功能都只是一个读取者:
它还意味着,一次运行是可以交给别人的一样东西。tether pack 把文件和它的 payload 打进一个 tar,每条命令都就地读这个 tar。
每个事件都携带前一个事件的 BLAKE3 哈希,由写文件的那个单一任务计算。这能抓住截断和原地修改,也就是会意外发生的那些问题。它不是签名:能重写整个文件的人,也能重写整条链。
要让重放精确,运行从外部学到的一切都必须在 trace 里,在进来的路上就被记录下来。有四个来源:
agent 不知道自己在跟谁说话。在重放中,它照旧发出那两次调用,而应答的是由录制构建出来的替身,而不是 provider 和 sandbox。
有两个细节比看上去更重要。
请求按内容匹配,而不是按位置。重放的模型请求按其消息的哈希来查找。如果 agent 发送的跟之前完全一样,它拿到的就跟之前完全一样。如果它发送了任何别的东西,就没有对应条目,而这就是分歧的定义。按位置匹配「第三个请求」,会毫不犹豫地把录制的答案交给一个不同的问题。
被拒绝的调用没有结果可供重放。如果录制拒绝了一次工具调用,工具就从未运行,所以没有为它记录任何东西。因此,在一条现在允许该调用的更宽松策略下重放,会在那一点产生分歧:它需要录制里没有的东西。而在更严格的策略下重放完全不会分歧,因为拒绝一次调用不需要外部的任何东西。正是这种不对称,让上面的策略示例能一直跑到结束。
agent 的模型请求包含到目前为止的整个对话。第 1 步发一条消息,第 2 步发三条,第 40 步大约发八十条。如果直白地写出来,trace 会把第一条消息存四十次,而一次长运行的 trace 会随其长度的平方增长。
所以 model.request 事件里不含消息,它含的是一个哈希列表:
step 1 "messages": ["blake3:4d51…"] step 2 "messages": ["blake3:4d51…", "blake3:258e…", "blake3:68fa…"]
每条消息只存一次,存在 trace 旁边的一个目录里,以其内容的 BLAKE3 哈希命名。一步只添加新的消息,别的什么都不加。历史从不被复制。
这么做是为了体积。但它在别处得到了回报。这个哈希列表恰好就是重放需要的键:两个请求当且仅当它们的列表相等时才携带同一段对话,而比较它们就是比较几个短短的
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。