开发者收集Hacker News上800条「等AI能做到再叫我」评论,看十年预期如何被打破
来源标题:Wake me up when AI can...
一位开发者从Hacker News收集了2016至2026年间约800条「等AI能做到再叫我」式的怀疑评论,用来对照AI实际进展。他发现,如今习以为常的AI能力(如让模型通宵排查性能问题)在一年前还难以想象,而人们很快就把新能力当作常态。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几周前,我又一次被某个前沿模型的新版本震撼到了,然后意识到当时仍是2026年,这一年刚过去约四分之三——也正是我发现在这一年里编程agent变得好用的那一年。
有趣的是,人适应现状的速度有多快。用一个模型几天,就足以对它的能力形成直觉,而这自然会带来一些在更早时候无法想象的期待。
每当我听到有人抱怨LLM,我都会试着想象一年前进行同样对话的场景。“我让Claude通宵排查一个严重的性能退化,还告诉它别用profiler因为太慢了,你猜它干了什么?”你让一台机器在你睡觉的时候排查问题?!
如果你每天都用LLM(而且不记笔记、不写博客),就很难回想起这些年来到底什么会让你觉得惊艳。
幸运的是,Hacker News提供了一个丰富的存档,里面有大量“等AI能……的时候再叫醒我”和“等……了我才信”式的言论。我收集了2016年到2026年间发布的约800条这类评论,觉得让人们来评判别人为AI设定的门槛是否已经被跨越,会很有意思。
它在10月1日登上了Hacker News首页。到周五晚上投票关闭时,已有近9,700人投出超过100,000票。
下面我挑选了一些过去的言论和陈述,连同结果一起给出:是、不确定、否。
在可供投票的陈述中,约有8%是某种版本的“AI是否通过了图灵测试”。我认为这是“移动球门”最明显的例子:最朴素的版本得到明确的“是”,但加上进一步的限定条件后,通过率就下降了。
值得注意的是,早期人们更常谈论图灵测试,所以这个话题可能已经不太相关了。
我有些随意地把“明确发生”定义为至少三分之二的投票者说“是”。在826条陈述中,有112条属于这种情况。主题主要是代码和文本。注意,其中不少陈述是在ChatGPT发布(2022年11月)之前做出的。
如果“是”和“否”都至少获得30%的票,且两者相差在10个百分点以内,则该陈述存在争议。在826条陈述中,有78条属于这种情况。
在826条陈述中,有89条至少有三分之二的人投了“否”。这些大多与物理世界有关,以及与独立产出真正新颖的东西有关。
这样就剩下了826条陈述中相对较大的547条。浏览一遍,大多数之所以不落入前述类别,是因为它们的措辞方式(例如:可靠地完成X),因为它们太冷门、没人记得,没人尝试过,或者验证起来不切实际。
在这个更大的组里,再挑几条引述。
不出所料,收集评论和搭建投票页面主要用LLM完成。先用传统关键词搜索选出约22,000条候选评论。一个便宜的模型(Haiku)将其中的5,200条标记为为AI设定了门槛,然后一个能力更强的模型(Opus)撰写上下文和供投票的陈述,并淘汰较弱的,最终留下826条。
Web服务器是一个小型Go应用,用只追加的文本文件作为数据库,托管在一台有十年历史的单核VPS上,内存500 MB。
峰值时每五分钟约有1,400票涌入,大约每秒五票。负载均值从未超过0.20。发布前,我在笔记本电脑上把服务器绑定到单核做负载测试,它每秒处理约50,000个请求,所以还有一些余量。
与此同时,既然投票已经结束,Go服务器已经下线,结果就是纯静态页面。
如果其中某条评论是你的,而你不希望它留在那里,请发邮件到firstname[at]lastname.ch,我会将其删除。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。