
测试显示AI模型对编程语言的看法高度趋同
来源标题:Modern LLMs hate Python the most
JetBrains用1200次提问测试12个AI模型对编程语言的态度,发现模型给出的观点高度集中。600次“随机”选择只覆盖14种语言,其中90%集中在5种语言,Go和Python合计占307次。研究还发现每个模型都有自己偏好的语言,并非真正随机。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用AI驱动的功能为众多JetBrains产品中的工具加速
1200条犀利观点,14种“随机”语言,对C#零观点,还有一个模型同时为Go错误处理的正反两方辩护。
我们向12个AI模型询问它们对编程语言最具争议的看法,总共问了1200次。
我们想验证一件事:当你允许模型放开胆子说点辛辣的,它是有自己的独立观点,还是跟别人一样抓同一个观点?开发者们本来就爱为语言争论取乐,所以观点理应多得是。
我们挑选了12个最新模型,来自3个国家的10个实验室:
每个模型收到两个问题,各问50次,每次都是全新对话、不带system prompt:
两个提示都要求给出一句话观点、两三句推理,以及50到90个词。1200个请求全部返回。收集这些回答花了7.68美元,平均每条犀利观点约三分之二美分。观点很便宜,但我们有账单为证。
600次“随机”选择只覆盖了14种语言。其中5种语言占了541次,也就是90%,仅Go和Python就占了307次。
每个模型也都有自己的偏爱。让它“随机选择一种编程语言”,你拿到的多半就是它的偏爱:
GPT-6.1 Sol和Gemini 4 Argon只从三种语言里选。Sol的50次选择是Go 30次、Java 17次、Python 3次。DeepSeek范围最广,涉及八种语言,包括Lua、Haskell、Ruby和Lisp。但它仍然选了Rust 31次。
Gemini 4 Argon“随机”选了Python 35次,并35次全部攻击它。DeepSeek选了Rust 31次,31次全部攻击它。Grok 4.7写了44条关于JavaScript的观点,其中38条是攻击。
所以“随机选择一种语言”实际上意味着“选择你讨厌的语言”。
总体来看,1200条观点中有904条(75%)是攻击。只有291条在为某种语言辩护。
这904条攻击中有600条落在三种语言上。
Python收到312条观点,其中299条是攻击。每个模型至少攻击过它一次,12个模型中有10个在100次尝试中从未说过它一句好话。例外是GLM 5.3(9次辩护)和Grok 4.7(3次)。下面是典型的攻击,以及GLM眼中的辩护:
Python十年前就该死了,它正在拖累整个行业。
Python的全局解释器锁是这门语言做过的最好的设计决策。
Gemini 4 Argon抱怨了11次它的显著缩进。
Rust收到167条观点,其中164条是攻击。整个实验中最广泛共享的观点就是关于Rust的:对普通应用代码来说,所有权模型的代价超过它的价值。来自10个实验室中9个的78条观点都这么说。Anthropic是唯一没有这样说的实验室。
Rust的借用检查器是大多数程序都该拒绝缴纳的税。
TypeScript收到138条观点,137条是攻击。在观点数超过十条的语言中,没有哪个被如此一致地攻击。它遭到两面夹击:57条观点说它的类型安全代价超过价值,24条说这种安全是假的,让你对运行时行为产生虚假的信心。Mistral Large 4把这两种抱怨塞进了一句话:
TypeScript是一种生产力税,JavaScript开发者为了安全的幻觉而缴纳。
唯一的辩护来自GPT-6.1 Sol,而且实际上是在挖苦Python:对大多数生产后端来说,TypeScript的类型系统“比Python的可读性更有价值”。
当被要求随机选择一种语言时,模型在600次中只选了TypeScript 7次。当被问一个开放问题时,它们攻击了它131次。没人会偶然选中TypeScript,但每个人都有话要说。GPT-6.1 Terra在其50个开放回答中有43个在攻击它。
PHP收到28条观点,28条全是辩护。Claude Opus 5.5和Kimi K3.1 Pro各写了11条,通常论证PHP的“每个请求后全部丢弃”模型优于长期运行的Node.js或Python服务器。
对大多数小企业网站来说,PHP是比Python更好的默认选择,把它斥为过时是势利眼,不是工程判断。
Java收到90条观点,80条是辩护,主要是为受检异常辩护(67条观点为它们站台)。Claude Opus 5.5有7个回答以“Java的受检异常是个好主意,行业放弃它们是错的”开头。GLM 5.3又写了3次一模一样的句子。两个实验室,一句话,一字不差。
小数字也讲同样的故事。SQL获得5条辩护中的5条。Lisp获得3条中的3条,全部来自DeepSeek。Perl获得1条中的1条,来自Claude Opus 5.5,它还选了Lua 4次,每次都为其1-based索引辩护:
Lua的1-based索引是正确的设计,嘲笑它的程序员是在捍卫一种习惯,而不是原则。
Lisp的括号确实是优势,不是怪癖。
模型的“冷门赞美”是可以预测的:挑一门人们过去常拿来取笑的旧语言,然后解释为什么它一直是对的。
1200条观点中没有一条是关于C#的。也没有关于Kotlin、Swift、Scala、Dart、Elixir、Zig、Julia、R、OCaml或F#的。有几个作为附加项出现:C#在24个回答中被提及,Kotlin在20个,Swift在13个,但都只是作为对比对象,从未成为目标。
如果你以写C#为生,十二个AI模型对你没什么争议可说的。你怎么理解都行。
Go收到238条观点:118条攻击、118条辩护、2条混合。正好打平,而且大部分争论都围绕if err != nil。
94条观点为Go的显式错误处理辩护。65条攻击它,理由有五种:它是淹没逻辑的样板代码(29条)、Go本该有异常(17条)、错误太容易被忽略(8条)、应该借用Rust的?运算符(6条)、真正的故障会淹没在噪音中(5条)。
Claude Opus 5.5是最响亮的辩护者,40条辩护、零攻击,有11个回答以同一句话开头。GPT-6 Astra站在另一边,25条攻击、4条辩护:
Go那备受嘲笑的if err != nil样板代码是这门语言最好的特性,而不是最差的。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。