软件工程正面临“苦涩教训”
来源标题:The bitter lesson is coming for software engineering
一篇讨论文章提出,软件工程领域即将迎来所谓“苦涩教训”,即依赖规模化计算与学习方法最终胜过人工设计的工程规则。原文未给出具体数据或时间表。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编码智能体如今正在软件工程领域制造一种令人不安的张力。我们希望它们自主而快速地工作,但又希望它们产出的系统正是我们自己会设计的那一套。我们规定接口、选择抽象、纠正架构决策。我们添加自定义 lint 和机械化检查,来强制执行我们的标准、选择以及被奉为圭臬的“品味”。
我越来越认为这种分工是暂时的,而我们关于人类在系统设计或编码标准上拥有更优判断力的想法,即将迎来一个“苦涩的教训”时刻。
在传统的机器学习中(比如 2014 年之前),大量工作都花在了特征工程上。人类挑选出问题中哪些特征重要、以及如何表示它们,模型则学习这些特征的最优权重。
我们基于语言学研究构建语言模型,基于语音学和声学构建语音模型,基于我们认为重要的视觉特征构建图像识别系统。花卉识别是通过显式提取颜色、形状和纹理来解决的。语音识别则是围绕音素、发音词典和专门的处理组件搭建流水线。甚至最初击败人类世界冠军的 AlphaGo,也是从人类棋谱中学习,并使用人工设计的特征。
我们本质上是用人类知识为模型播种,以便在算力和数据受限的情况下让问题变得可解。但随着数据和算力的增加,深度学习把其中大部分表示工作转移到了学习过程本身。正如 Rich Sutton 在“苦涩的教训”中精辟指出的那样:只要有足够的数据和训练预算,不带先验知识或专门化的通用学习方法可以超越几乎任何人类设计的系统。通用 CNN 学到的特征在花卉识别上击败了人工设计的特征,简单的 RNN 在语音识别上胜出,新的 AlphaGo 被称为 Zero,因为它从零围棋知识开始,当然还有自回归 LLM 的爆发(没有语言学、语言或任何东西的先验知识)。
我们目前与编码智能体的关系,看起来与 2010 年代初的机器学习惊人地相似。我们定义代码库结构、服务、核心接口和抽象。在这些边界之内,智能体可以自由地寻找解决方案。可以说,我们让它们学习权重,同时把整体系统设计、特征/问题设计的控制权留在自己手里。
这样做有充分的理由。智能体会遗漏上下文、做出糟糕的决策,并且难以评估那些后来才显现的后果。有经验的工程师知道,某个特定的抽象会让下一个功能变得痛苦,或者某个看似不必要的边界因为未来的产品需求而至关重要。至少我自己就一直敦促我们的工程师专注于做这件事:尽可能多地约束智能体,直到我们对其产出高质量代码有极高的信心。
工程师的输入通常是三类之一:简单的正确性反馈、智能体无法获取的信息,或对某个特定设计未来影响的预测。
第一,工程师像对待初级工程师那样,对代码产出给出直接反馈(比如“你没按我说的做”“这不重要”“这太复杂了”)。这通常要么是因为智能体不够聪明,要么是因为它误解了问题。随着智能水平的提升,我们应当预期这类输入会消失。
第二,工程师向智能体提供它没有的上下文:产品方向、其他团队的路线图、技术债/迁移、运维约束,或关于优先级的指导。当智能体朝错误的目标优化时(例如过度优化、处理不可能发生的边缘情况、编写不必要的测试)、忽略迁移、或构建不必要的东西时,就会出现这种情况。这纯粹是一个规格不足的问题,通过提供更好的明确指导和上下文来解决。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。