研究分析GitHub高星AI工具中编码智能体提交占比
来源标题:How much of GitHub's most-starred AI tooling is written by coding agents?
对GitHub上52个高星AI工具仓库的32.4万次提交进行全量分析后发现,中位仓库近180天内16.9%的提交带有AI签名,其中21个仓库该比例达25%以上、10个达50%以上。星标数与AI签名占比之间未发现可检测的关联(Spearman ρ=-0.05,p=0.72),前十大高星仓库的AI签名占比从0%到73.6%不等。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
GitHub AI 工具类话题下 52 个星标最多的仓库的完整 git 历史(324,088 次提交),检查了 AI 签名、代码流失以及每个项目对自身结果的公布情况。 在中位仓库中,其最后 180 天活动内的提交有 16.9% 带有 AI 签名(整个历史为 13.6%)。52 个仓库中有 21 个达到 25% 或以上,10 个达到 50% 或以上。38 个仓库至少有 5% 的提交带有签名,另有 9 个提交了面向编码代理的指令但签名比例较低,还有 5 个既无签名也无指令(情况未知,而非“没有 AI”)。 星标数与 AI 签名占比之间未发现可检测的关联(Spearman ρ = -0.05,p = 0.72)。星标最多的十个仓库,AI 签名占比从 0% 到 73.6% 不等。 在第 180 天,这些仓库将 2.0 倍于修复的提交标注为修复(34.1% 对 17.3%),代码流失更低(1.92 倍对 3.77 倍),并且保留了自己编写的更多代码(67.1% 对 41.7%),对比对象是 12 个 Copilot 出现之前的著名项目。 修复占比、代码流失和代码存活方面的差距集中在 2025 年或之后启动的 31 个项目中:在这些项目里,至少 5% 提交带签名的仓库与签名较少的仓库之间未发现可检测的差异,而更早启动的 10 个仓库与基线之间也未发现可检测的差异。大量使用 AI 的情况集中在最新的项目中(AI 占比与启动日期:ρ = 0.72),因此这个样本无法将 AI 使用与项目新近程度区分开。在一年时(有 20 个仓库历史足够长),修复占比的差距仍然存在,但代码流失和存活差距已不再可检测。 24 个仓库发布了带有已提交结果的基准测试工具;其中 15 个衡量工具是否完成了本职工作(节省的 token、准确性、成本、任务成功率),11 个带有 AI 签名。有几个公布了对自身不利的数据。3 个没有发布任何量化数据。 “带签名”指在整个历史或最后 180 天活动中,至少有 5% 的提交带有 AI 共同作者 trailer、以 AI 代理作为作者或提交者,或带有“Generated with”页脚。52 个仓库中有 44 个还提交了代理指令(CLAUDE.md、AGENTS.md 等),7 个在 CI 中运行编码代理。 按最后 180 天活动中 AI 签名占比划分的仓库数量。 36,892 次带签名的提交中,85.3% 来自 Claude。Claude Code 默认添加 trailer,因此签名频率较低的工具会被低估。 最后 180 天活动的 AI 签名占比比整个历史高出至少 15 个百分点。 其余 5 个(anything-llm、PageIndex、QwenPaw、conductor、open-webui)签名比例低于 5%,且未提交任何代理配置。它们的 AI 使用情况未知。 星标数与 AI 签名占比之间的 Spearman ρ:整个历史为 -0.15(p = 0.30),最后 180 天活动为 -0.05(p = 0.72)。星标数与修复占比:ρ = -0.0(p = 0.99)。 星标更多的仓库代码流失更高(ρ = 0.33,p = 0.017)。 代码流失取决于项目年龄,因此每个仓库在其首次提交后第 180 天和第 365 天的最后一个主线提交处检出,并以相同方式测量。 基线是 12 个著名项目(超过 4 万星标),其第一年在 GitHub Copilot 正式可用(2022-06-21)之前就已结束。在 HEAD 处,此处中位仓库的修复占比为 36.3%,代码流失比为 2.08 倍,存活率为 65%。 第 180 天的中位数:这些仓库中的 41 个对 12 个基线项目。 p 值:双侧 Mann-Whitney U 检验,10,000 次置换,未针对检验数量进行校正。基线在两个年龄点均显示 0% 的 AI 签名提交,这验证了检测器的假阳性率。 在第 180 天,比较了 52 个仓库中的 41 个:8 个历史不足 180 天(deepseek-harness、elephant-goldfish-model、get-shit-done、gsd-2、holaOS、munder-difflin、ponytail、thinkrail),3 个快照早于 Copilot。 第 180 天是主要比较点:在第 365 天只有 20 个仓库符合条件,而且它们在那个年龄时 AI 使用程度远低得多(中位数 0.8% AI 签名)。 在这些仓库内部,AI 占比与修复占比相关,与另外两项的关系则不明确:修复占比 ρ = 0.46(p = 0.003);代码流失 ρ = -0.22(p = 0.17);存活率 ρ = 0.21(p = 0.18)。但 AI 占比也随着项目启动时间越近而上升 (ρ = 0.72,p < 0.001):31 个 2025 年或之后启动的项目中,有 23 个到第 180 天时至少 5% 的提交带签名,而更早启动的 10 个中为 0 个。 修复占比、代码流失和存活差距集中在 2025 年或之后启动的 31 个项目中:在这些项目里,至少 5% 提交带签名的仓库与签名较少的仓库之间未发现可检测的差异,而更早启动的 10 个仓库与基线之间也未发现可检测的差异。大量使用 AI 的情况集中在最新的项目中(AI 占比与启动日期:ρ = 0.72),因此这个样本无法将 AI 使用与项目新近程度区分开。签名较少的项目不一定是没有代理的项目,因此最新项目内部的比较是在更明显和更不明显的 AI 使用之间进行的。 在 24 个拥有基准测试工具和已提交结果的仓库中,15 个衡量工具是否完成了本职工作(节省的 token、准确性、成本、任务成功率) 9 个仅衡量软件本身的运行速度(AutoGPT、Paradev、agent-orchestrator、cmux、deepseek-harness、happy、orca、transformers、yao)。 有几个公布了对自身不利的结果,其中包括 ECC、archify、context-mode 和 caveman。3 个仓库(agents、conductor、elephant-goldfish-model)完全没有发布量化结果。 结果是项目自己的声明,在审计提交中按文件和行号定位,并按证据类型分类。没有一项被重新运行。 点击某一行可查看该仓库发布内容的摘要以及指向确切文件的链接。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。