业界热议自动代码审查:风险真实但可被系统性化解
来源标题:The Risks Are the Roadmap
作者回应同行对“仅靠自动化审查合并PR”的担忧,认为风险虽真实,却不应视为不可改变的自然事实。他以周五部署、云计算等曾被视作冒险的做法为例,说明软件工业化转型中的障碍可以通过工程手段解决。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我人脉圈里有几个人给我发消息,聊的是那篇关于用自动化做代码审查的文章,主题都差不多:“我们团队也得出了类似的结论,但还没信心只靠自动化审查就合并 PR,也没准备好应对越来越不了解复杂系统所带来的风险。”
这种论调并不陌生:云计算、持续交付、自动化测试、周五部署,这些曾经被视为鲁莽的幻想,如今都已写进教科书。我们或许不清楚软件工业化的彼岸究竟是什么样子,但对于如何走过这场转型,我们心里有数。基本原则是:障碍和风险确实存在,但不必把它们当作天经地义的事实。2019 年,Charity Majors 就这样回应过那些嚷嚷“别在周五部署”的人:
说“别往生产环境推”本身就是一种代码坏味道。[……] 如果你习惯了每周都把这句话挂在嘴边、听进耳朵里,那说明你对部署心存恐惧,你应该把这个问题解决掉。
担心只靠自动化审查合并 PR?你该把这个问题解决掉。担心工程师不逐行读代码就会跟复杂系统脱节?你该把这个问题解决掉。如果你已经认定,借助 AI 更快地产出更多软件对你的业务有利,那么每一个风险、每一个障碍,都会变成一个待消除的目标。
合并依赖自动化审查,最常见的担忧是搞坏东西,而显而易见的解法是自动化测试。我们的测试本来就不错,但我们清楚,即便一个有 bug 的 PR 溜过去的概率很低,乘以更大的变更量,麻烦就是必然的。
于是“你该把这个问题解决掉”就变成了:把每一道安全网都再收紧一点,直到每个 PR 的缺陷概率降下来。但更有效的质量过滤器是有代价的。我们的产品提供多租户 GPU 基础设施自动化,测试很复杂,我们也没有持续部署、特性开关和灰度发布这些奢侈手段。我们依赖的 PR 门禁和合并后检查变得又慢(集成测试 20 分钟,端到端测试 1 小时)又费资源(端到端测试需要在 16 vCPU、64GB 的中型 VM 里搭建逼真的虚拟环境)。
排队论给了我们三个应对饱和的基本旋钮:增加 worker、缩短服务时间、降低到达率。但哪个都不好直接套用。
增加(或扩容)worker 有问题,因为测试基础设施的成本膨胀比例比代码流量还糟糕:每个 PR 需要多轮端到端测试来覆盖审查轮次(中位数 2 次,均值 7.5 次)。服务时间,尤其是最重的那些测试套件,受限于操作系统、网络交互和 k3s 的调谐周期。
那就只剩到达率了。我们当然不想减少 PR 数量,但减少每个 PR 的测试运行次数很有吸引力。我们早就知道测试运行做了大量重复工作(同一个套件在每个 PR 里跑多次,在笔记本或云 agent 上跑,然后在 main 上再跑……)。我们担心的是,为每次运行挑选相关测试并不容易,一旦选错,下游可能出大乱子。我们还没准备好放松检查。
我们在 main 上的测试运行中加了埋点,拿到了成功率的详细基线。这让我们可以有控制地放松 PR 门禁。下面的看板展示了部分仓库中 main 上运行的测试工作流。
main 上的验证工作流扮演着背压阀的角色。第 2 个或第 5 个工作流亮起,说明我们该暂停上游的实验,先把 main 搞稳定。第 4 个和第 6 个足够稳定,可以放松门禁、从 PR 门禁里去掉一些测试。如果这让缺陷溜了过去,我们可以用自动回滚来应对 main 上的失败,等反复出现的失败证明某些测试确实是相关的 PR 门禁时,再把它们加回来。这是我们路线图上的当前一项。
这类转型之所以更难,是因为解决方案往往把你带到陌生的地方。
目前,我们在 main 的 HEAD 上持续运行完整测试套件,实际上把分支当成了一个“验证队列”。每次测试运行都会消化上一次运行期间推入的所有变更,并批量验证。随着合并到 main 的变更速率上升,这个策略将难以为继:批次会变得太大,导致每批出现失败的可能性更高、破坏性更大。
这将迫使我们把现在用于 PR 的策略用到合并后验证上。每次运行都应聚焦于与变更相关的测试,并在相关集合之外采样测试用例作为对照。我们需要强大的埋点,以及能对失败快速反应、又不阻塞流水线的自动化反馈回路。
随着剔除缺陷的能力提升,瓶颈会继续向下游移动。PR 门禁变得很薄、甚至消失,都是有可能的。笔记本或云端的编码 agent 已经能跑构建和测试,也越来越能交付正确的代码,让 main 出现回归的可能性降低。真出现回归时,自动回滚或修复能把干扰降到最小。这些步骤每一个都有合理的“但是”和“万一”,但都可以用同一句话回应:“你该把这个问题解决掉。”
我们行业在软件交付里用“流水线”这个词已经很久了。但 reality 是,大多数流水线配不上这个名字。工业流水线是稳健、高度标准化、结构良好的系统,用来调节大流量。我们的流水线会构建和跑测试,但一有中断就得靠人手动兜着。我们缺乏跨工作流的一致约定(传统上不愿剥夺工程师的自主权),这让在整个系统里拿到可比的指标变得复杂。
按工业化的生产方式来做软件,会与我们习以为常的那些假设和做法发生冲突。我们该把这个问题解决掉。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。