
研究观点:AI智能体无法独立构建和维护复杂系统
来源标题:Runtime Quality Requires Humans
AI智能体无法独自构建和维护成功的复杂系统。文章以微软Outlook大规模宕机为例,指出故障源于网络网关服务器上Windows进程的锁争用这一运行时性能问题,故障连锁反应导致恢复耗时超过一天。作者认为,当前AI智能体擅长编写单元测试,但发现不了功能与真实用户、外部系统复杂交互时才显现的关键缺陷。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI agent无法独自构建和维护成功的复杂系统。就在我准备发布这篇文章时,Microsoft 发布了一份初步分析(Reddit 上的副本),说明了上周 Outlook 大规模宕机的原因。结果发现,触发原因是网络网关服务器上运行的某个 Windows 进程出现了锁争用导致的运行时性能问题。这引发了一连串故障,花了一天多时间才恢复。很难确定 Microsoft 最近的 AI 驱动裁员和政策变化是否导致了这次故障,但这是一个很好的例子,说明像锁争用这样微妙的运行时问题可以摧毁一个复杂软件系统的健康。
如果你曾经真正用过电脑,你肯定遇到过那些令人抓狂的软件——莫名其妙的崩溃或故障。有时候,这是因为代码中存在功能性 bug,可以通过良好的单元测试来预防。像 Claude Code 这样的当前 AI agent 非常擅长编写和维护单元测试,通常比普通程序员做得更好。但单元测试无法发现那些只有在功能与真实用户和外部系统以复杂、难以预测的方式交互时才会显现的关键 bug。在构建一个需要在多种不同情况下工作的复杂系统时,你不能完全依赖 AI agent,因为它们不擅长维持高运行时质量。那些试图让 AI 包揽一切的公司将不断遭遇可能拖垮整个项目的重大问题。
本文讨论的是如何最好地利用 AI agent 来完成重要的实际任务。如果你认为 AI 要么永远出色、要么永远不该使用,那就不必读下去了。我个人认为生成式 AI 是一个强大而危险的工具,应该在合适的时候谨慎使用。
“运行时质量”并不是一个既定术语,但我用它来指代软件质量中那些只有在真实世界中实际使用系统时才会显现的方面。你也可以用“动态结构质量”这个说法,但那样太啰嗦了。用软件工程的术语来说,我讨论的是影响程序执行的各类非功能性需求:
我读过的关于运行时质量的最好的一本书是《程序员修炼之道》(The Pragmatic Programmer),它无疑影响了我作为游戏程序员的职业生涯,今天依然值得一读。我喜欢处理具有现实影响的复杂问题,这意味着我职业生涯的大部分时间都在处理复杂系统中的性能、可靠性和健壮性问题,而不是实现那些光鲜的新功能。
运行时故障可以由训练有素的 QA(或 agent)在发布前通过集成测试和冒烟测试发现,但有些问题只有在系统上线并实际运行失败后才会被发现。根据我迄今为止的经验,AI agent 非常擅长利用崩溃转储和日志来诊断运行时故障的原因,但它们在预先判断可能出现的故障方面表现很差。我相信它们在这方面会随着时间推移不断进步,但有一些根本性的原因导致经验丰富的程序员会胜过 agent。
目前可用的 AI agent 往往擅长两类任务:成功要求较为宽松的开放式头脑风暴任务(比如帮忙设计这个网站),以及成功标准明确的定义清晰的任务。如果你让一个 agent 去做某件对成功有复杂隐含要求的事情(比如从头撰写一份法律简报或研究论文),它往往会捏造信息或对自己实际做了什么撒谎。考虑到 LLM 的工作原理,这完全说得通——压力大的人类在被迫解决自己不知道如何解决的问题时,也常常会做同样的事。
AI agent 擅长开放式任务,是因为它们已经学习了大量关于许多技术主题的背景信息。Claude 对大多数编程语言的了解远比我多,因为它在数百万行代码上接受了训练,并且通过数千小时来自熟练程序员的反馈专门学习了编程技能。我拥有相当广泛的知识基础,并且在编程的许多不同领域都有经验,但在大多数技术主题上,AI agent 拥有比我更多的背景知识和习得的经验。这种广泛的知识基础是 agent 擅长诊断崩溃报告和处理混乱 bug 报告的重要原因。
但与人类程序员相比,单个 Claude 实例可用的动态内存和任务特定学习量受到严重限制。部分原因是使用大量计算机 RAM 的原始成本和技术难度——这也是为什么没人买得起新显卡。这可以通过增加分配给每个实例的 RAM 量来解决,但并不能解决全部问题。即使是拥有海量内存的前沿 agent,仍然需要定期重置其工作记忆,以避免被无用信息饱和。这是一个活跃的研究领域(比如教 AI 如何睡眠),但 agent 要在任务特定学习和记忆方面与经验丰富的人类竞争,还需要数年时间。
像 Claude 这样的 agent 系统之所以能处理需求明确的困难编程任务,是因为它们被教导了如何编写和使用单元测试等工具来检查自己写的代码是否正确运行。这对于满足定义清晰的功能需求或与现有软件进行比较非常有效,这也是它们在逆向工程和数据转换任务中如此出色的原因。关于 AI 取代人类工作的一些恐惧和炒作被夸大了,但任何专门从事可预测的数据转换或构建简单定制系统的岗位都面临很高的被 AI 取代的风险。这对许多行业的健康来说是一个严重问题,但在构建需要创造力和长期技术愿景的复杂系统时,AI 在短期内不会取代人类。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。