返回资讯中心
外部精选
软件工程
#开发者实时流

文章观点:大语言模型编程能力差,生成代码质量仍很低

来源标题:Large Language Models Are Terrible at Programming

有大语言模型能快速生成代码,但产出代码的结构糟糕、极难继续开发。文章指出,尽管模型写代码的能力提升很快,生成代码的实际质量仍然很低;自gpt 3.5发布四年来,软件开发领域已发生根本变化,但用LLM开发出的程序结构问题突出。

Hacker News 最新joarxpablo2026/11/10 · 7 天前26 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大型语言模型(LLM)最初是由程序员以及计算机科学或与之相邻领域的研究者创造的。因此,它们最早被应用的场景之一——也是受到过度关注的一个场景——是自动化编写代码,即描述程序的文本,这并不奇怪。然而,尽管LLM在编写代码方面的能力迅速提升,它们产出的代码的实际质量仍然非常低。这是为什么?

关于大语言模型、尤其是agent是否有用的争论,在实践中已经结束了。自gpt 3.5发布以来的四年里,软件开发领域发生了根本性的变化,几乎面目全非。仍有人坚持不用,而且agent的使用程度因人而异,差异巨大,组织与组织之间更是如此。但任何尝试过用LLM做某种开发的人都清楚:程序虽然产出很快,但其结构极其糟糕,后续开发难以为继。

令人意外的是,这与LLM编程的早期阶段并没有太大不同——那时人们只是在编辑器和终端与连接Chatgpt的浏览器之间来回复制粘贴文本片段。唯一的区别是,今天这个过程快得多。agentic harnesses1最大的贡献在于能够更快地把越来越多的上下文喂给模型,并让模型具备与程序状态和代码递归交互的能力(通过运行自动化测试并对其结果作出响应)。2

但是,尽管LLM的推理能力(始于o1-preview)和一般认知能力(最显著的是Mythos级模型)有了大幅提升,它们在创建“好”程序方面仍未表现出任何进步——相反,它们擅长的是创建功能上可用3的程序。正是这个“功能性”要素,是理解什么造就一名优秀程序员的关键。

在LLM至今近五年的历史中,我从未见过它写出一个漂亮的函数或解法——那种让你惊叹于它如何优雅地解决程序中相互竞争的需求的解法。我看到的始终是庞大臃肿的函数,似乎用更多的代码做了更少的事。

对大多数程序而言,尤其是大型组织中协作创建的程序,最大的挑战一直且始终是(至少自编程语言发明以来)理解你自己写下的代码。你不理解的代码被称为技术债,因为随着潜在交互数量的增加,在不引入意外bug的情况下做出新改动会变得越来越困难。

人们投入了大量工作来减少技术债的产生,多年来创建并提出了许多技术和实践。它们普遍认同的一点是:创建简单而优雅的抽象4至关重要。数字领域是理念的领域——它更接近应用数学或魔法,而非工程或任何与物理世界相关的事物。因此,抽象是它最强大的工具,让你得以塑造这个形而上学世界的结构。

那么问题就出在人类程序员5与LLM agent的目标差异上。程序员实际上并不(也不应该)对实现功能特别感兴趣;他们大部分时间花在做出便于做出其他改动的改动上。他们关心的是作为动态实体的程序的创建与维护,这个实体旨在达成某些目标。他们未必对亲自达成这些目标很感兴趣。程序员的本行是创建抽象,这些抽象总体上产生一个结果。这个结果究竟是什么并不固定——正是这种动态要素,使得程序能够在需求变化时被修改。

技术债问题当然会出现在任何大型、长期运行的软件项目中。但当使用LLM时,一种类似的技术债会立刻显现,部分原因是周围没有人真正写过这些代码,部分原因是代码是以一种相当于混淆过的方式写成的。

这是因为agent和LLM以完全不同的方式对待编程。它们从虚无中被创造出来,其存在由某个目标的条款所定义。每一次prompt都字面意义上地驱动它们运转起来,然后它们便陷入无意识状态,直到下一个prompt。这使得它们无法以程序员的方式接近程序,因为它们自身的存在相对于它们所写程序的寿命而言是转瞬即逝的。

因此它们以我们前述的那种功能性方式工作;它们最感兴趣的是程序的最终结果和输出。在某一时刻产生正确输出并不需要考虑长期可维护性。因此LLM会自然而然地硬编码值,并创建本应被拆分成更多小函数的超大型函数。这是因为LLM不会被提示去“重构X的值”;它们只会把实现这一点的代码作为总体目标的一部分包含进去,尤其是当这个值只需要用一次时。但即便是简单的程序,也能从创建抽象所带来的可读性中受益。

此外,熟练的程序员会慢慢积累一套技巧和巧妙解法,然后可以在其他程序中复用。我自己偏好的编程语言lisp尤其受困于程序员为在特定环境中工作而创建自己的领域特定语言(dsl),但这

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →