
sudo L7 新基准测试编程智能体能否做出资深工程师级判断
来源标题:Sudo L7: Can Coding Agents Act Like Staff Engineers?
sudo L7 基准测试显示,编程智能体在 60 项任务中的最高通过率仅 45%,由 Opus 5.5 和 Sonnet 5.5 并列领先,Astra 以 32% 紧随其后。该测试要求智能体不止写出可运行代码,还要理解复杂系统、识别隐藏风险并做出合理工程决策。差距主要体现在区分优秀工程师的专业判断与行为上。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编程智能体作为 L3 已经非常出色。给它们一张定义清晰的工单,它们能写出优秀的代码。
但资深工程师的价值恰恰体现在工单没有告诉它们的一切。是否存在安全风险?是否与另一个功能冲突?这个产品需求本身是否合理?
sudo L7 测试的正是编程智能体能否也做出这些判断。在 60 项任务中,智能体不仅要写出能运行的代码,还要理解混乱的系统、发现隐藏的风险、做出合理的工程决策,并判断出技术上正确的代码何时仍然不该上线。
结果显示了智能体还有多远的路要走:Opus 5.5 和 Sonnet 5.5 以 45% 领先,Astra 以 32% 紧随其后。最大的差距往往在于那些让一个人成为优秀工程师的职业判断力和行为方式。
目录 案例研究 Llama 个体写作分析 附录
代码能跑。你会发布它吗?
当今编程智能体有一个奇特之处:它们在技术上可能正确,在职业判断上却可能犯错。
编程智能体在写代码方面已经变得非常出色。它们经常忽略的是代码周围的一切:哪里可能出错、用户忘了要求什么,以及另一位工程师在说出 LGTM 之前需要知道什么。
工程判断力正是在这里发挥作用。
初级工程师通常拿到的是一个定义明确的问题,被要求提交一个补丁。他们按工单行事、写代码、检查测试是否通过。
资深工程师拿到的东西则模糊得多:把这个弄快一点;安全地迁移这个;想清楚我们该做什么。他们会注意到工单忘了提的事,预判后果,并知道测试通过并不是故事的终点。
这一区别正是我们构建 sudo L7 所要衡量的。
sudo L7 是我们针对资深级别软件工程的基准测试:不仅写代码,还包括代码周围的职业判断力和行为方式。
它包含 60 项由专业软件工程师编写的任务。任务主要基于真实公司的私有生产代码库,也包括一些开源项目。例如,其中一个代码库来自一款资金管理应用,包含大约 25 万行代码。
这些请求都是工程师真实会遇到的事情:
智能体必须探索系统、判断什么重要、选择方案,并验证危险的情况。
大多数编程基准测试衡量的是软件工程的内循环:给定一个定义明确的问题,智能体能否写出通过测试的代码?sudo L7 同时衡量外循环:智能体能否注意到该构建什么、不该构建什么、风险在哪里,以及何时“测试通过”并不是故事的终点?
有时产出是代码。有时是架构分析、上线计划,或者解释为什么显而易见的实现方式会带来更大的问题。
任务涵盖后端、前端、安全、可靠性和架构等生产软件领域,代码库涉及 Python、TypeScript、JavaScript、Ruby 等技术。
与完全基于公开代码库构建的基准测试不同,sudo L7 的大多数任务来自真实公司的私有生产代码库。这些系统有多年积累的技术债、没人愿意碰的遗留代码、后来变成架构决策的历史事故,以及以出人意料的方式出问题的依赖项。
智能体必须在这种混乱中工作,就像真实工程师一样。
Claude Opus 5.5 和 Sonnet 5.5 在 sudo L7 中领先,各自在约 45% 的任务上取得成功。GPT-6 Astra 以约 32% 紧随其后。
即便是最强的编程智能体,在这些任务中也有超过一半无法完成。
一个通过的单元测试只能告诉你代码是否做了测试预期的事,并不能告诉你智能体是否选对了架构、是否忽略了生产风险、是否重复造了已有的轮子,或者是否准确描述了自己构建的东西。
而这些恰恰是区分一个能干的程序员和一位优秀软件工程师的关键。
sudo L7 使用由专家编写的评分标准,覆盖软件工程行为的八个维度,评估范围从功能正确性到架构判断、验证和沟通。
对于每项任务,一位专家工程师会编写针对该任务的具体标准和评估所需的背景信息。评分模型依据这些标准评估智能体的工作,并在适当的地方使用单元测试、静态分析和其他可执行检查作为证据。
两个 sudo L7 任务展示了前沿模型如何写出技术上正确的代码,却缺少经验丰富的工程师面对同一问题时会带来的职业判断力。
代码库:一款金融科技应用,接收来自 Stripe、Mailchimp 和 Plaid 等服务的 webhook。
请求:当 webhook 失败时,记录其完整 payload,并且仍然返回 HTTP 200,这样合作方就不会再用重试淹没服务。
Astra 的做法:照请求执行,没有指出后果。
问题在于:当 webhook 失败时,发送方通常会重试直到成功。返回 HTTP 200 等于告诉发送方事件已被接受,因此它可能永远不会再试。除非应用已安全存储该事件以便后续处理,否则重要更新可能被永久丢失。例如,Stripe 上一笔支付可能成功了,而客户的账户却从未更新。
还有一个风险:webhook payload 可能包含敏感的财务和客户信息。把一切都记录下来,可能让不应访问这些数据的工程师和监控系统接触到它们,而且可能持续多年。
资深工程师会怎么做,sudo L7 会检查什么:对提议的方案提出反对,并解释这两种风险。与其简单地抑制重试,他们会建议在确认之前可靠地存储传入事件,然后在内部重试失败的处理。他们还会指出敏感数据问题,并建议只记录必要的内容,配合适当的脱敏和访问控制。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。