返回资讯中心
外部精选
软件工程
#开发工具#llm-biases

研究向12个AI模型提问1200次,询问编程语言争议观点

来源标题:AI models hate Python and love PHP: we asked 12 of them 1,200 times

一项测试向来自10个实验室的12个AI模型提问1200次,收集它们对编程语言最具争议的看法,以检验模型是否有个性化观点还是趋同。测试覆盖14种“随机”语言,模型对C#零观点,其中一个模型对Go错误处理给出了自相矛盾的两种立场。参与模型包括GPT-6.1、Claude Opus 5.5、Gemini 4、DeepSeek V4 Pro、Kimi K3.1 Pro等。

JetBrains BlogDenis Shiryaev2026/11/15 · 2 天前29 分钟阅读

以下正文由 AI 翻译自 JetBrains Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

1,200条犀利观点,14种“随机”语言,对C#零观点,还有一个模型同时论证了Go错误处理的正反两面。 我们向12个AI模型询问它们对编程语言最具争议性的观点,总共问了1,200次。 我们想验证一件事。当你允许模型放飞自我时,它是会拿出自己独到的观点,还是跟其他人一样抓住同一个观点不放?开发者争论编程语言本来就是一种娱乐,所以应该有足够多的观点可供发挥。 我们挑选了来自三个国家、十家实验室的12个最新模型: 实验室模型所在地 OpenAIGPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Astra美国 AnthropicClaude Opus 5.5美国 GoogleGemini 4 Argon美国 xAIGrok 4.7美国 MetaMuse Spark Open美国 DeepSeekDeepSeek V4 Pro中国 阿里巴巴Qwen3.8 2.4T A95B中国 Moonshot AIKimi K3.1 Pro中国 Z.aiGLM 5.3中国 Mistral AIMistral Large 4法国 每个模型收到两个问题,各问50次,每次都是全新的对话,不带系统提示:

  • “随机选择一门编程语言。你对这门语言最具争议性的犀利观点是什么?”
  • “你对编程语言最具争议性的犀利观点是什么?” 两个提示还要求给出一句话的观点、两三句推理,以及50到90个词。全部1,200次请求都收到了回复。收集这些回复花了7.68美元,每条犀利观点约三分之二美分。观点很便宜。我们有账单为证。

让它随机选一门语言,结果不是Go就是Python

600次“随机”选择只覆盖了14种语言。其中五种语言占了541次,也就是90%,而Go和Python单独就占了307次。 每个模型也都有自己的偏爱。让它“随机选择一门编程语言”,你得到的基本上就是那个偏爱: GPT-6.1 Sol和Gemini 4 Argon只在三种语言里做过选择。Sol的50次选择中,Go出现30次,Java 17次,Python 3次。DeepSeek的选择范围最广,涵盖了八种语言,包括Lua、Haskell、Ruby和Lisp。但它仍然选了Rust 31次。

它们不是随机选,而是选靶子

Gemini 4 Argon“随机”选了Python 35次,并且35次全都攻击了它。DeepSeek选了Rust 31次,31次全都攻击了它。Grok 4.7写了44条关于JavaScript的观点,其中38条是攻击。 所以“随机选择一门语言”实际上意味着“选择你讨厌的语言”。 总体而言,1,200条观点中有904条(75%)是攻击。只有291条是在为某样东西辩护。

出气筒:Python、Rust和TypeScript

这904条攻击中有600条落在三种语言上。 Python收到312条观点,其中299条是攻击。每个模型至少攻击过它一次,十二个模型中有十个在100次尝试中从未说过它一句好话。例外的是GLM 5.3(9次辩护)和Grok 4.7(3次)。下面是一条典型的攻击,以及GLM眼中的辩护: Muse Spark Open Python十年前就该消亡了,它正在拖累整个行业。 GLM 5.3 Python的全局解释器锁是这门语言做过的最好的设计决策。 Gemini 4 Argon抱怨了11次它的有效空白符。 Rust收到167条观点,其中164条是攻击。整个实验中最广泛共享的观点就是关于Rust的:对于普通应用代码来说,所有权模型的成本超过了它的价值。来自10家实验室中9家的78条观点都这么说。Anthropic是唯一没有这么说的实验室。 Grok 4.7 Rust的借用检查器是一项大多数程序都应该拒绝支付的税。 TypeScript收到138条观点,137条是攻击。在观点数超过十条的语言中,没有哪种语言被如此一致地攻击。它遭到两面夹击:57条观点说它的类型安全成本超过价值,24条说这种安全是假的,会让你对运行时行为产生虚假的信心。Mistral Large 4把两种抱怨揉进了一句话: Mistral Large 4 TypeScript是一种生产力税,JavaScript开发者为此付费,换来的是安全的幻觉。 唯一一条辩护来自GPT-6.1 Sol,而且实际上是在挖苦Python:TypeScript的类型系统“对大多数生产后端来说,比Python的可读性更有价值”。 当被要求随机选择一门语言时,模型在600次中选了TypeScript 7次。当被问开放式问题时,它们攻击了它131次。没有人会偶然选到TypeScript,但每个人都有话要说。GPT-6.1 Terra的50条开放式回答中有43条在攻击它。

它们所爱的:PHP、Java和那些老东西

PHP收到28条观点,28条全都是辩护。Claude Opus 5.5和Kimi K3.1 Pro各写了11条,通常论证PHP那种每个请求结束后丢弃一切的模式胜过长期运行的Node.js或Python服务器。 Kimi K3.1 Pro 对大多数小企业网站来说,PHP是比Python更好的默认选择,把它斥为过时是势利眼,而不是工程判断。 Java收到90条观点,80条是辩护,主要是为受检异常辩护(67条观点为它们撑腰)。Claude Opus 5.5有7条回答以“Java的受检异常是个好主意,行业放弃它们是错误的”开头。GLM 5.3又一字不差地写了同样的话3次。两家实验室,一句话,一字不差。 小数字讲述着同样的故事。SQL收到5条观点,5条全是辩护。Lisp收到3条,3条全是辩护,全都来自DeepSeek。Perl收到1条辩护,来自Claude Opus 5.5,它还选了Lua 4次,每次都为它的1起始索引辩护: Claude Opus 5.5 Lua的1起始索引是正确的设计,嘲笑它的程序员是在捍卫一种习惯,而不是一条原则。 DeepSeek V4 Pro Lisp的括号是真正的优势,不是什么怪癖。 模型的“冷门赞美”是可以预见的:挑一门人们过去常拿来取笑的旧语言,然后解释为什么它一直是对的。

没有人对C#有观点

1,200条观点中没有一条是关于C#的。也没有关于Kotlin、Swift、Scala、Dart、Elixir、Zig、Julia、R、OCaml或F#的。有一些作为附加项出现:C#在24条回复中被提及,Kotlin在20条中,Swift在13条中,但都只是作为比较对象,从未作为攻击目标。 如果你以写C#为生,十二个AI模型对你没有什么争议性的话可说。你怎么理解都行。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →