开发者反思：Human in the Loop 并非 Agent 工作的解药

最近我一直在思考人机交互和Human In The Loop。你看，我一直在找东西来做，每次坐下来想点子，最后都回到同一个地方。人类和agent。谁做什么？谁在控制？

今年我注意到自己的一件事：我变得擅长读研究论文了。我拿一个概念，就一头扎进去，直到弄懂为止。以前我也这么做，但现在它已经成了第二天性。就像去健身房，一旦你坚持下来，它就不再感觉像工作了。所以很自然地，我在这件事上深入了下去。

我们都知道Agent已经席卷了世界。我认识的每个人交付的东西都比以往任何时候多。我也是。但在我思考和冥想这件事的时候，我开始审视大家用Agent产出的工作量。而世界似乎在一件事上达成了共识：人类成了瓶颈。我们成了工作循环里那个拖慢节奏的实体。

让我解释一下我如何想象今天的工作是怎么完成的。

人类发出prompt，Agent自主工作，Agent返回成果或请求输入，人类审核并批准——一切都在这里等着。这个循环。人类发prompt，agent干活，它回来了，在人类批准之前什么都不动。

人类发prompt。Agent自主工作。它带着某个东西回来，或者请求输入。然后人类批准。重复。

当我说Human In The Loop，我指的就是这个：人类批准每一件事。

Agent十分钟就能做完以前花我一天的事。然后它就坐在那儿。等我。等我读diff、检查输出、点批准。而问题是：Agent越来越快。我没有。你也没有。我们谁都没有。

人类能审核的量 / Agent完成的工作量——已批准，但并未真正审核。这个缺口。示意性的，不是真实数据。

那条平线以上的所有东西，是没人真正在审核的工作。但它还是被批准了。想一想这个。

所以我开始问自己一个不同的问题。那些人类已经把流程完全自动化的领域呢？他们是怎么做到的？

我对这个着了迷。芯片是怎么造的？汽车是怎么制造的？那里有多少Human In The Loop？想一想。没人在看芯片上的每一个晶体管。没人在手工检查每辆车的每个螺栓。那他们怎么知道它是好的？

这就是我读到丰田的地方，天哪，它震撼了我。

1896年，丰田佐吉造了一台动力织机，线一断它就自己停下来。在那之前，一个人得站一整天盯着一台织机。在那之后，一个人可以照看很多台织机，因为机器知道什么时候出了问题，会自己停下来。多年后，大野耐一把这个想法带进了丰田的汽车工厂。他们称之为jidoka（自働化）。然后他们加了andon cord，一根任何工人都能拉的绳子，拉了就停整条线。

注意，人还在那里。任何人都能拉那根绳。丰田没有把人拿掉。他们把 人移到了真正重要的地方。

这比汽车还要早。二战期间，美军成百万地买弹药。你没法测试每一颗子弹。一旦开火，它就没了，哈哈。所以贝尔实验室的工程师从每批里抽一小份样本测试，据此判断整批。我最喜欢的是随之而来的那条规则。

芯片也是一样的道理。工厂不检查一切。他们用控制图监控过程，这个想法可以追溯到1920年代贝尔实验室的Walter Shewhart。如果数字开始漂移，产线就停下来。

这些行业没有一个保留着人类去批准每一件事。他们把人的位置往上移了。人设计系统、设定界限，出了问题才介入。

然后我读到Lisanne Bainbridge在1983年写的一篇论文，叫《Ironies of Automation》。它很短，但狠狠击中了我。

她说的是这个。当你大量自动化时，你把人的智能从流程中拿走了。机器做得越多，人练得越少。练得越少，他们在你留下他们的那唯一一件事上就变得越差：在机器出错时抓住那个错误。

再读一遍。这就是我们用agent的样子。我们每一个没有真正读就批准的PR，都是一次少练。我们正在慢慢变差，而这恰恰是Human In The Loop本该保护的那件事。

我的第一个想法是工厂的答案：别再检查一切，转而盯着数字。缺陷率、样本、控制限。这就是汽车和芯片所做的。但Bainbridge会说，盯着数字不过是换了个更好看的屏幕盯着看。如果你从不亲自动手，数字变动时你不会理解它们在告诉你什么。

所以答案不能只是“往后退”。我们需要正确的指标，而且我们需要让人保持足够敏锐去读懂它们。

这是我无法停止问自己的问题。如果Human In The Loop只是我们的一种应对机制呢？一种告诉自己我们仍然在控制中的方式。

我找到今年的一项研究，叫《Habituation at the Gate》，它研究了人们如何审核AI agent写的代码。随着时间推移，审核者批准得更多、看得更少。代码并没有变好。审核者只是习惯了。说实话，这就是人性。我们不擅长盯着一大堆基本没问题 的东西，等着那唯一一个有问题 的。

所以当我们说“人类批准了它”，那到底意味着什么？他们读了吗？他们理解了吗？还是因为前三十九个都没问题，他们就批准了第四十个？对自己诚实一点。我知道我这么干过。

如果现在是我们 在控制，那能持续多久？agent产出的工作量增长速度，远远快于能审核它的人数的增长。这个账算不过来。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）