开发者收集近800条Hacker News评论,回顾AI十年能力变迁
来源标题:Wake me up when AI can...
一位开发者从Hacker News收集了2016至2026年间约800条「等AI能做到……再叫醒我」式的质疑评论,想借此回顾人们对AI能力的预期如何随时间变化。作者指出,如今人们已习惯让大模型在夜间自主排查性能问题,而一年前这还难以想象。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几周前,我又一次对某个前沿模型的新版本印象深刻,然后意识到当时仍是2026年,一年已过去约四分之三——也正是我发觉编程智能体开始变得有用的那一年。
有趣的是,人适应现状的速度有多快。用一个模型几天,就足以对它的能力形成直觉,而这种直觉自然会带来早先难以想象的期待。
每当我听到有人抱怨LLM,我都会试着想象一年前进行同样的对话。“我让Claude通宵排查一个严重的性能回归,还告诉它别用分析器因为太慢,你猜怎么着?”你让一台机器在你睡觉时排查问题?!
如果你每天都用LLM(而且不记笔记、不写博客),就很难回想这些年里什么曾让你印象深刻。
幸运的是,Hacker News提供了丰富的存档,里面有大量“等AI能……再叫醒我”和“等……我才信”之类的言论。我收集了大约800条2016年到2026年间发布的这类评论,觉得让人们来判断别人为AI设定的门槛是否已被跨过,会很有意思。
它在10月1日登上了Hacker News首页。到周五晚上投票结束时,已有近9700人投出超过10万票。
下面我提供一些过去摘选出来的引述和陈述,以及结果:是、不确定、否。
你可以投票的陈述中,大约8%是图灵测试是否通过的各种版本。我认为这是“移动球门”最清楚的例子——直白的版本得到明确的“是”,但加上进一步限定后,通过率就下降了。
应当指出,早期人们更多地谈论图灵测试,所以这个话题可能已经失去相关性。
我有点随意地把“明确发生”定义为至少三分之二的投票者说“是”。826条陈述中有112条属于这种情况。主题大多是代码和文本。注意,其中不少陈述是在ChatGPT发布(2022年11月)之前做出的。
如果“是”和“否”都至少获得30%的票,且两者相差不超过10个百分点,则该陈述存在争议。826条陈述中有78条属于这种情况。
在826条陈述中,有89条至少三分之二的人投了“否”。这些大多与物理世界以及自主产出真正新颖的东西有关。
这样就剩下一个相对较大的群体,826条中的547条。粗略浏览,大多数没有归入前面的类别,是因为它们的措辞方式(例如:可靠地做X),因为太小众没人记得,没人尝试过,或者无法实际验证。
这个较大群体中还有几条摘选的引述。
不出所料,收集评论和搭建投票页面主要用LLM完成。通过传统关键词搜索选出了约22000条候选评论。一个廉价模型(Haiku)将其中的5200条标记为对AI设定了门槛,一个能力更强的模型(Opus)撰写了上下文和供投票的陈述,并剔除了较弱的,剩下826条。
Web服务器是一个小型Go应用,用仅追加的文本文件作为数据库,托管在一台有十年历史的单核VPS上,内存500MB。
峰值时每五分钟大约有1400票,也就是每秒约五票。负载平均值从未超过0.20。发布前,我在笔记本电脑上把服务器绑定到一个核心做负载测试,它每秒处理约5万个请求,所以还有余量。
与此同时,既然投票已经结束,Go服务器已经下线,结果是纯静态页面。
如果其中某条评论是你的,而你不希望它留在那里,请发邮件到firstname[at]lastname.ch,我会删除它。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。