
微软研究院提出按意图校验Agent代码的新方法
来源标题:Checking agent code against your intent
微软研究院11月18日介绍了一种代码审查器,从变更意图出发校验AI Agent写的代码。文章主张开发者应阅读全部代码,关键是让Agent在交付前写得更少更好;并指出让Agent多写测试并不能提升正确性,Dan Luu的实验显示测试数量约翻倍但正确性未改善。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
图1. 本文所描述的循环。属性在agent启动之前就已经冻结,检查器会在你读到任何内容之前,把被推翻的代码退回给agent。虚线标出的是已证明的属性仍可能遗漏的地方。
编程agent现在写的代码已经多到我读不过来了。一个应对办法是干脆不读。Robert C. Martin(更广为人知的名字是Uncle Bob)说,他目前的策略“是不读我的agent写的任何代码”。取而代之的是,代码必须“经受住”他的测试、质量指标和变异测试的考验1。我不同意。我认为你应该把代码全部读一遍。要让这件事仍然可行,办法是让agent在代码到你手上之前写得更少、写得更好。
更多的测试并不能让你达到这个目的。在Dan Luu八月份的那轮运行中,要求agent使用Rust内置的测试框架,大致让他们写的测试数量翻了一倍,“但这并没有带来更好的正确性”2。一个月后,一个更新的模型测试表现更好3。但尽管如此,agent写的测试所编码的,是agent自己对代码应该做什么的想法。
11月18日,Microsoft Research描述了一个专注于“更好”这一部分的代码审查器4。它从一项改动的意图出发,也就是这项改动应该做什么,并把这个意图写成精确的属性。一个agent尝试证明代码具备每一条属性,再由一个小而可信的程序检查该证明。研究者称之为神经形式化验证(neuro-formal verification,NFV),在最近的38个pull request上,它检查了217条属性5。Harmonic的Aristotle、Midspiral的LemmaScript和Don Syme的Lean Squad也以类似方式工作。
本文针对这类工具提出三个问题。这样的证明告诉了你什么?它告诉你:在你列出的假设之下,代码具备你写下的那条属性。它不能告诉你什么?不能告诉你这条属性是否选对了,不能告诉你它证明的是否就是实际运行的那份代码,也不能告诉你它是否表达了你真正想表达的意思。那你能不读代码吗?不能,但到你手上的代码更少,而且到手的部分已经对照意图检查过了。图1展示了这个循环。和上一篇一样,本文借用了数学论文的版式。
2014年,OpenSSL中的一个漏洞(后来被命名为Heartbleed)让互联网上的任何人都能读取服务器的内存,包括密码和密钥6。修复背后的意图用一句话就能说清,Aristotle正是拿它当示例:“响应永远不会比请求更长。”三个步骤可以把这样一句话变成一个有检查背书的判定。
构造1(模型)。代码被翻译成Lean或Dafny,这是两种专为编写程序证明而设计的语言。Aristotle用普通编译器把C、Rust和Verilog编译成Lean,LemmaScript则把TypeScript编译成Dafny或Lean。NFV则让一个agent来完成翻译。这几乎适用于任何语言,但多了一个你必须信任的步骤。
构造2(属性)。意图被写成一条形式化的属性。NFV论文的作者Shuvendu Lahiri把这一步称为意图形式化(intent formalization)7。NFV从pull request的描述、issue和讨论中推导出属性。在LemmaScript中,意图和属性就放在一个普通TypeScript函数上方的注释里,如下面这个来自其演示的示例:
//@ contract Clamps x into the inclusive range [lo, hi]; the result never falls outside it. //@ requires lo <= hi //@ ensures \result >= lo && \result <= hi export function clamp(x: number, lo: number, hi: number): number { if (x < lo) return lo; if (x > hi) return hi; return x; }
contract那一行是用英文写的意图。requires和ensures两行是属性。它们说的是:如果函数被调用时lo <= hi,那么返回值(\result)就落在lo和hi之间。TypeScript会忽略这三行,所以实际运行的代码不会改变。
构造3(证明)。一个agent去寻找证明,再由检查器判定它是否成立。用Harmonic的话说,“AI编写证明,Lean检查证明的每一步,因此结论从不依赖于AI是否正确。”检查器是Lean或Dafny核心的一个小程序,只有当某一步能由之前的步骤推出时,它才接受这一步。
定义1. 对一条属性的有证明背书的判定,是以下三种之一。
注记1(关于“unresolved”)。一个能够给出“unresolved”的检查器,在它真正给出答案时往往更准确。在NFV针对小型Python程序的基准测试中,其判定的92%是正确的。而直接询问一个模型,它对每个程序都给出了答案,但只有72%的答案是正确的,而且没有一个附带任何可检查的东西8。
一个证明只覆盖它的属性所说的内容,别的一概不覆盖。Harmonic的文档说得很直白,警告说“未被列为属性的行为就没有经过验证”。所以一个证明的价值,最多也就等于它那条属性的价值。
定义2. 一条已证明的属性符合你的意图,当且仅当:它是一条真正重要的属性,它是针对实际运行的那份代码证明的,并且它表达了你真正想表达的意思。
检查器对这三个部分一个都不覆盖,而这三者在实践中都会出问题。
一条真正重要的属性。在Luu八月份的那轮运行中,那些用Rust实现Zstd压缩格式的agent被告知要使用Lean或其他证明工具。他们“大多做的是算术证明,并没有触及容易出bug或存在风险的区域”2。Don Syme对Lean Squad也有类似的评价——Lean Squad针对三个开源代码库证明了1200多个定理:“大多数定理不过是美化了的测试”9。
实际运行的那份代码。一个agent在翻译程序时,可能建模的是稍有不同的一份程序。NFV的博客文章承认,“仅凭证明本身,无法确立形式化模型忠实地捕捉了源程序和所提供的属性”。编译器更可预测,但它仍然会做简化。LemmaScript把TypeScript的数字当作精确整数,所以它的证明对浮点舍入只字未提。Midspiral的crosscheck就是用来找出这类缺口的。它把经过证明的模型和真实的JavaScript放在相同的输入上运行,并比较结果,这被称为差分测试(differential testing)10。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。