
天文学家借助AI重写算法,演讲时被同事指出问题
来源标题:AI Made Me Look Foolish. Then I Learned
一位天文学家使用AI编程助手重写了其十余年前开发的空洞搜寻算法VIDE,新版本速度提升10倍、可处理百倍规模的巡天数据。但在向合作者演示时,有同事当场指出某处似乎有问题。该算法用于从星系巡天数据中识别宇宙空洞。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
古代炼金术对聊天机器人有很多启示。 把Nautilus添加到Google 1条评论 今年二月,我站在合作者面前,向他们展示VIDE的一次重大更新——这是我十多年前首次构建的空洞搜寻算法。空洞是星系之间广袤的空旷区域,从巡天数据中把它们挖出来既繁琐又不起眼。新版本比旧版本快10倍,能处理大100倍的巡天数据。最棒的是,它处理真实数据集那些丑陋现实——缺口、掩膜和参差不齐的边界,这些在教科书版本的问题里从不会出现——的方式要精细得多。 我在这上面花了好几周,并为它感到自豪。那几周里,我身边也一直有个AI在帮忙,它不可或缺。编程智能体重写了算法的核心,比我写得快,而且没有拼写错误。到了写报告的时候,它们生成了图表,还起草了配套的解说。每次我核查它们的推理,它们从未有过一次迟疑。 演示进行到十分钟时,一位合作者举起了手。他们说有些地方看起来不对劲,并问起处理巡天边缘的新方案。我答得很轻松,因为我熟悉这些内容。他们又问了第二次,语速更慢,还用手指着。我顺着他们指的地方看去,吸了一口气,然后脚下的地板就塌了。 边缘处理是错的。不是拼写错误,也不是漏了引用或差了个二倍,它很细微,但错得很严重,而它下游的一切也都错了,我还在满屋子信任我的人面前把整件事讲了出来。代码很快。代码很漂亮。代码是错的。经过20年的训练,我满怀信心地展示了一堆胡说八道。 是的,现在想起那一刻我还会觉得难堪。最糟的是:那几周里,我从未有过一丝怀疑。没有任何东西显得可疑,甚至不值得再看一眼。感觉就像用不到往常十分之一的时间掌握了一门新技术。时髦的担忧是AI正在让我们变蠢,每一次委托都是一次小小的自我截肢。我不这么认为。二月里,我并没有被夺走任何东西。 但我得承认:我被诱惑了。我觉得AI就是现代版的哲人石,被赋予了把机器变成心智的力量。古代炼金术士花了几个世纪追寻一种传说中的物质,它能点铅成金,让拥有者富可敌国。今天我们灌入文本和电力,等着思维从另一端出来。这正是这些工具让人觉得神奇而不只是顺手的原因。不是因为它们快,而是因为它们似乎跨过了一条由算术构成的东西本不该跨过的界线。 于是,二月里,我就在那里炫耀我那变质的成果,以及我如今捧在手里的愚人金。 但故事并没有以我的羞辱收场。炼金术当时已经在我脑海里,我读得越多,就越意识到炼金术士的工作并非科学的耻辱,而是通往科学的道路。他们从未找到哲人石。但他们找到了别的东西,一样我们现在急需的东西。 我觉得自己明白自己在做什么,因为我使用的AI系统——一个大型语言模型,简称LLM——听起来像是懂了。LLM只不过比一个复杂的下一词预测器多一点。这些系统在大多数事情上是对的,原因其实很无聊。真实的陈述在LLM训练所用的人类写作文本中就是更常见,所以真实的陈述通常是更好的预测。正确性是副作用,它像热量从引擎中散出一样,从算术中自然掉落。 然后我们又把它弄得更糟。原始的预测器跟它对话很不愉快,所以我们打磨了它,向人们展示不同形式的回答,并把模型调向人们更喜欢的那一种。结果我们发现,我们喜欢的是清晰、有条理、直接的回答。 LLM的流畅并非偶然,也不是什么涌现出来的谜团。它是我们培育出来的特性,就像我们把狼培育成狗,狗会在我们打开零食袋时盯着我们的脸。自信但错误,可能让一个人丢掉工作、毁掉职业生涯,或者只是丧失基本的自尊。 机器没有工作、没有职业生涯,也没有自尊。 但天哪,LLM确实无可否认地有用。我从5岁起就开始写代码。自一月以来我没再写过一行。20年来我自己做研究,也就是说,我读论文,顺着引用一路追进兔子洞,自己构建每一个论证。现在AI智能体能做所有这些。 这些不是偷懒的交易。它们是正确的交易,明天我还会再做一次。在过去一年里的某个时候,一个LLM成了我的思考伙伴,我说这话并不觉得难为情。我不是唯一一个。每天有数亿人使用这些工具,他们不是白痴。 LLM用户获得的加速,在很大一部分时间里是有用且正确的,有时则是彻头彻尾的垃圾。而LLM太擅长它们所做的事,太擅长找到那个既有用又讨喜的词,以至于我放下了整个职业生涯中一直保持的警惕。 这些超能力是真的,但它们不稳定,而且它们被调校来取悦我们。那么,我们该如何部署一个有时出错却总是讨喜的工具?我们该如何信任AI?简单的答案是:别信。 我们以前来过这里。不是和机器,而是和任何能返回有价值东西的强大过程(其内部我们看不见)。当我感觉自己像手握新力量的炼金术士时,我只对了一半。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。