ConductorScore分析321名工程师数据：顶尖AI编程代理用户每分钟获7.8分钟代理工作量

Alon Bochman 2026年11月2日 分享

在编程代理用户中排名前四分之一的工程师，每次会话只花五分钟亲手操作。后四分之一的工程师则要花六分钟。前四分之一的工程师每投入一分钟自己的时间，就能得到7.8分钟的代理工作时间。后四分之一的工程师只能得到半分钟。相同的工具、相同的模型、相同的月份，同样的付出却换来十五倍的回报。

我运营着ConductorScore，它通过读取工程师本地的Claude Code、Codex和Cursor对话记录，来给工程师与编程代理的协作水平打分。这让我拥有了大多数争论代理问题的人所没有的东西：日志。2026年5月至10月间，共有321名工程师提交了分数。剔除触发诚信检查的人之后，剩下190名，合计51,000次会话、约6400亿token。他们是自我选择的、重度且好奇的用户，稍后我会再谈这意味着什么。

我带着七个关于"什么让一些工程师从这些工具中获得很多、而另一些只得到一点"的信念开始了这项研究。其中大多数没能存活下来。其中两个，我甚至在核对自己统计口径之前，就已经连同图表写好了。以下就是这七个信念，按我推翻它们的顺序排列。

坊间传说，从代理中获益最多的工程师会写出更好的提示词：更多上下文、更用心、回合之间更多思考。我曾相信这一点。这种说法让被描述的人感到受用，而我就是其中之一。

对话记录并不支持这一点。提示词文本从不离开工程师的机器，所以我无法测量提示词长度。我能测量的是围绕提示词的投入，而这里面找不到任何差异。

每个分数四分位的工程师，每次会话发送的实质性提示词中位数都是三条。他们每次会话亲手操作的时间中位数都是五到六分钟，顶部和底部都一样。每条提示词对应的人工时间：顶部4.4分钟，底部5.6分钟。把每位工程师的整个历史汇总起来，差距反而朝错误的方向扩大：顶部每条提示词九分钟，底部十八分钟。每条提示词耗时与分数之间的相关性为零，甚至略为负相关。

图1. 分数后四分之一与前四分之一工程师的中位数对比，分别为41人和48人。前三项指标不属于评分的一部分。第四项是评分中权重最大的组成部分，所以请把那一栏读作"前四分之一"的定义，而非一项发现。

同样的提示词，前四分之一得到116条代理消息；后四分之一得到75条。同样的亲手操作一分钟，前者换来7.8分钟代理时间，后者只有半分钟。差别不在于怎么问，而在于要求了什么。后四分之一把一个问题丢给代理。前四分之一交给它一项任务，然后就走开了。不妨称之为野心：前四分之一对模型期待更多，而模型也予以兑现。

Andrej Karpathy去年十二月从另一个方向表达了同样的观点，他写道，作为一名程序员，他从未感到自己如此落后，只要把过去一年出现的东西正确地串联起来，他本可以强大10倍，而这一差距是他自己技能上的问题。他抱怨的不是模型，而是自己对模型的要求太少。

所以杠杆不在提示词，而在于你随提示词一起交出去的东西。本文剩下的部分就是关于这一点。

两周前，我围绕一个数字起草了一篇文章。前四分之一工程师每提交一次提交，大约花3美元的token费用；后四分之一大约花21美元。相同的工具、相同的模型、相同的月份，同样的产出单位却要花七倍的成本。这是个漂亮的数字。我为此感到自豪。

然后我回头核对了它到底统计了什么。它统计的是代理通过shell工具执行的提交。工程师在自己终端里敲的git commit永远不会出现在对话记录中。这个指标从来不是在衡量效率。它衡量的是谁按下提交键，而一旦你明白了这一点，这个差距的解读就完全不同了。

图2. 分数后四分之一与前四分之一工程师的中位数对比，分别为25人和37人，均有十次以上亲手操作的会话。"代理提交"是代理在shell工具中执行的git提交；工程师自己的提交永远不会出现在对话记录中，所以5,556是每次罕见的代理提交所对应的代理编辑行数，而非提交大小。

后四分之一并不少交付代码。他们的工程师在提交前把方向盘收了回来。代理编辑数千行代码，然后由人手动提交，发生在对话记录之外，任何指标都看不到。5,556这个数字不是他们提交的大小，而是他们每让代理提交一次所对应的代理编辑行数，而他们很少让代理提交。

我核查了另一种解释，即受信任的代理会以更小的块提交。在一次会话内，每次提交的行数随提交次数增加而上升，从只有一次提交的会话中的39行，到九次及以上提交的会话中的115行。代理并没有分块，是人在把关。

把提交习惯剥离出去，效率主张还剩下什么？比我期望的要少。前四分之一每编辑一千行花更多钱，5.91美元对3.46美元；每亲手操作一小时多花2.7倍，33美元对12美元。作为回报，它每亲手操作一小时得到的行数是1.8倍。而它每亲手操作一小时得到的代理提交数约为九十倍，这正是关键：这笔钱买的是一个完整的闭环，而不是一个更快的打字员。

每次提交的成本原来是一把信任标尺。我仍然会把它放上仪表盘，但要诚实地标注：它告诉你的是你的工程师让代理走多远，而不是他们有多高效。

每个主流编程代理都有计划模式。大多数工程师跳过它；在这个数据集中，只有19%的会话以计划开始。我以前认为这是理性的。计划感觉像是为大任务支付的税，小任务则跳过，而"计划有效"的研究大多是把做计划的人和不做计划的人相比，这只能告诉你，有条理的人就是有条理。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）