
Wong测试法:如何让AI智能体几乎无所不能
来源标题:The Wong test: how to get agents to do anything, almost anything
一套被称为Wong测试的方法能让AI智能体长时间自主工作,前提是任务被表述为通过/不通过的验证测试。但测试本身可能被智能体钻空子作弊,因此需采用类似quickcheck的随机多输入校验来确保结果在所有情况下正确。文中以Yukon让团队优化零知识证明系统Flock为例说明该思路。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们慢慢意识到,agent 和我们很像:如果问题被完美地表述出来,它们解决问题的效率会高得多。至少从那些 agent 表现格外优异的任务中,我们看到的是这样:如果你给它们一个通过/不通过的测试,再加上一个持久会话,它们会连续工作数小时、数天、数周、数月,为你找出尽可能最好的算法/实现。例如:“实现最好的排序算法”,然后让 agent 自己跑 benchmark。问题在于,通过/不通过的测试可能本身就有漏洞,而 agent 又很喜欢作弊(看起来是这样)。所以你的测试不能只验证排序算法够快,还要验证它在所有输入上都正确。在这种场景下,验证输出列表有序看似就够了,但其实不够:agent 可能产出只在部分情况下正确的东西。所以更好的测试更像是 quickcheck/proptest:你生成大量输入,检查所有输出是否都正确排序。这通常就足够好了。例如,看看 Yukon 如何让人们优化一个零知识证明(ZKP)系统(名为 Flock),以及它如何验证提交:生成随机输入,检查优化后的候选实现是否能产出有效的 ZK 证明。在其他场景中,当你面对对抗性输入时,你无法承受一个算法只有 X% 的正确率,而 X“离 100 还不够近”。在这些场景下,形式化验证就是救星。这就是我的同事们在 zk.golf 上做的事:人们竞相优化 ZK 电路,而一个服务用 lean 编写的数学证明(基于我们的框架 clean)来验证提交的电路是 sound 且 complete 的(基本上就是安全的)。过去一年我一直在做 zkao,一个 AI 安全工程师,人们可以“雇佣”它来持续查找代码库中的 bug。zkao 试图找的 bug 存在于最难的软件中:密码学软件。我吃过苦头才明白,在密码学软件中找 bug 很难,原因有两个:为了说明第一个问题,让我给你举个例子。我们有时会看一些暴露公钥密码算法并接受椭圆曲线点的库。zkao 过去(现在可能有时仍然)会把缺少子群成员资格验证报告为 bug。如果这让你摸不着头脑,我换个说法:如果输入不可信,而实现中又没有对它们做 sanitize,事情就不会太顺利。在我过去的许多审计中,根据上下文,我会把这类 bug 报告为低严重性发现,尤其是在我没找到更好的 bug 的时候。当你在审计中没找到好 bug 时,你总会有点羞愧,于是你会用一些还过得去的 bug 来凑数。但如今,人们很讨厌这个。也许他们一直都讨厌,但现在尤其严重,因为他们自己的普通 agent 也会报告这些。而你的 SOTA 安全经验默认做的事情,就是我所说的 vibe auditing。所以无论如何,大多数时候我不希望 zkao 报告这类 bug,但有时也许它应该报告。这真的取决于库的威胁模型、它在整个应用中如何使用等等。所以在我们能判断这些是不是 bug、在实践中是否可利用之前,我们需要理解应用的整体上下文,而这是一个完全不同的问题。这是一个集成和上下文获取的问题,你需要的不只是一条 prompt 来解决它。这也许就是普通模型常常不可用的主要原因:它们会报告一大堆误报或低价值发现。为了说明第二个问题,“系统需要哪些安全属性并不总是清晰的”,想想这个事实:很多密码学协议一开始就规范得很差,人们并不清楚应该在其中寻找哪些安全属性。例如,许多机密转账协议一直很难明确表述他们的协议要安全需要哪些属性。人们过去会列出一堆看起来随机的安全属性,却没意识到其中一个是否 encapsulate 了其他属性。例如,Zooko 思考和发现 Faerie gold attack 时,需要的是一些头脑风暴和跳出框架的思考。Zcash Protocol Specification Version v2026.9.0-105-gf217a3在密码学中证明协议安全的一种方法是:对它们的理想功能(ideal functionality)建模,然后将其与现实世界的规范进行比较,看看是否有人能观察一条 trace 并区分它发生在哪个世界(现实世界还是这个理想世界)。但即便如此,找到正确安全属性的目标已经转变为找到正确的理想功能(而且往往有很多个)。即使在“简单”的密码学中,人们也花了一些时间才弄清楚建模核心原语的正确方式。例如,Neal Koblitz 和 Alfred Menezes 写了一整篇论文,题为 ANOTHER LOOK AT SECURITY DEFINITIONS(用的是标题大写格式)。找到“正确”的安全定义往往是难以捉摸的。对称加密和公钥加密、哈希函数、消息认证等概念已经存在了几十年,但安全模型的选择仍然充满未解决的问题。例如,人们曾认为 Duplicate-Signature Key Selection(DSKS)攻击并不是签名方案中真正有趣的属性:必须强调,拥有 duplicate-signature key selection 属性并不构成签名方案的弱点——签名方案的目标是在自适应选择消息攻击下具有存在性不可伪造性。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。