开发者警告:不加批判地使用LLM会让人高估自身能力
来源标题:LLMs and the Illusion of Competence
有开发者指出,不加批判地使用LLM会让人误以为自己远比实际更有能力。在编码等自己熟悉的领域,人们更容易质疑LLM的输出;而在不熟悉的领域,则倾向于轻信且不核实。LLM在可维护性和大型项目架构等关键方面表现不佳,可能让开发者做出看似专业、实则混乱不堪的项目。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在AI时代写代码,我担心的一件事是,不加批判地使用LLM会让我们相信自己比实际能力强得多。一般来说,你在某个领域越专业,就越能判断别人(或LLM)关于这个领域的说法对不对;反过来,你对一个领域了解得越少,就越不容易质疑别人关于它的说法1。
我在使用LLM时也看到了这一点:对于它们在编程方面的产出,或者它们关于架构决策的说法,我会非常挑剔;但当我问它们学罗马尼亚语最好的语法书是哪本,或者在意大利怎么和房产中介打交道时,我往往很容易就相信它们,不会做太多核实,还会给自己找借口,比如“只是查一下”“这是常识,应该不会错”。
问题在于,如果你没有意识到这个现象,就很容易对自己产出好工作的能力过度自信,尤其是因为LLM在判断软件开发中一些非常重要的方面时出了名地不靠谱,比如可维护性,或者大型项目的架构。你可以做出一个光鲜亮丽、看起来很专业的网站,但底层是一堆意大利面条式的代码,满是安全漏洞和隐藏的bug。但如果你没有真正的能力去判断这些问题,你就看不见它们,只会关注外观,以为自己有了“Claude朋友”,就能用一小部分时间做到比更有经验的开发者还多的事,还纳闷他们为什么做同样的事要花那么长时间。
如果你独自工作,这是一个潜在的问题,因为你可能会变得过度自信,然后在求职参加技术测试时被现实狠狠打击。如果你和别人一起工作,这已经是个问题了,因为你可能在不知不觉中引入LLM通常产出的那种过度复杂的代码,仅仅因为LLM让你相信那是必要的,从而拉低代码库的质量。在$work,我有时就被这个坑到:对于我不熟悉的应用程序中LLM所说的潜在bug,我不像对每天维护的系统中的代码那样挑剔。我可能会给同事发一个PR,在我看来它很好地修复了LLM向我描述的问题,结果同事却把它打回来,说这就是垃圾,LLM根本不知道自己在说什么。
这个现象我们没法消除,但如果在处理不熟悉的东西时把它记在心里,就可以减轻影响。比如,我现在强迫自己在不熟悉的系统上发PR,让别人来审查,而不是太相信LLM。
这通常被称为达克效应(Dunning–Kruger effect)。↩
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。