返回资讯中心
外部精选
软件工程
#开发者实时流

研究者提出用System One模型作为非形式化证明检查器

来源标题:Informal Verification

研究人员探讨将System One模型用作非形式化证明检查器,认为非形式化方法可在智能体软件工程工作流中辅助建立信任。文章指出,让智能体修改复杂系统需要信任,仅靠经验记录不足以区分技术债务与深入修复,缺失的是认识论信任。

Hacker News 最新ComNik2026/11/22 · 今天25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在看似不可能的条件下,形式化验证如今既酷又实用。然而,验证首先且首要是一项建立信任的活动,而形式化方法对此可能充分,但并非必要。我们探讨将System One模型用作非形式化证明检查器,并主张非形式化方法可以在为智能体软件工程工作流建立信任方面发挥补充作用。

让智能体对复杂系统进行更改需要信任。信任可以通过经验建立:你需要多频繁地纠正一个智能体?它多久会破坏生产环境?但仅凭过往记录是不够的。你可以看到漏洞一周又一周地完全自主地被关闭,却无法区分不断累积的技术债务与根植于对系统及其用户深刻理解的外科手术式修复。更糟的是,一个智能体可能在你看到的任何地方都写出无懈可击的整洁代码,却以如此迂回的方式解释其工作,以至于你不够放心让它放手去做。

缺失的一环是认知信任:你需要相信最终系统按你认为的方式工作,它与你的心智模型一致。从观察下面的例子,你会假设机器按颜色分拣弹珠。窥探内部,你发现一个按大小分拣的机制,只是在正常操作下恰好等效。喂入一个异常输入——一颗大的蓝色弹珠——便证实了这种错位。

建立经验信任是测试的领域:我们观察系统的实际行为。建立认知信任则需要论证系统为何正确行为、为何对齐。这是一个迭代的过程,其中隐含的假设被揭示,不明显的推理跳跃被分解为更小的步骤。通过这个过程,(不)一致的低维状态被爆炸成一个高维空间,包含假设、结论以及它们之间丰富的几何关系。沿如此多不同维度的一致是支持真正对齐的非常强烈的信号。形式化和非形式化论证都可以服务于这一目的。

能够访问Lean等形式化证明助手的智能体能够以可由确定性内核检查的方式形式化某些论证。内核接受有缺陷论证(或拒绝正确论证)的概率并非为零,但相当小。而且一旦被接受,内核不会突然改变主意。

然而,形式化方法也无法提供绝对的信任,因为形式化本身可能存在错误、歧义或简单的漂移。用Alan Perlis的话说,“人们无法通过形式化手段从非形式化走向形式化。”例如,2025年就出现了关于AI生成的Erdős问题#124的Lean证明究竟确立了哪个陈述的疑问,并且在形式化验证的分布式系统背景下也得到了研究。“值得注意的是,在290个附带Lean代码的OpenAI定理中,大约有38个具有这样的性质:Lean代码甚至没有陈述——更不用说证明——论文的主定理。”

另一方面,非形式化论证可以显著降低翻译风险,甚至在形式化从一开始就不切实际的情况下也能起作用。例如,你如何证明你的软件正确使用了第三方API,或者网站的渲染与其CSS规则匹配?作为交换,非形式化方法在检查证明时接受更高的错误率——要么由于散文中的歧义,要么由于审查者的懒惰。

形式化和非形式化证明可以成为建立认知信任的互补验证工具。如果我们希望将非形式化论证纳入狂热的智能体软件工程工作流,我们需要一种大规模生产它们的方法。我们需要为智能体提供Lean的非形式化等价物,以便它们能完成所有繁重工作并自动检查其工作。

我们对非形式化证明检查器有什么期望?像Jev这样的System One模型就是非形式化证明检查器。下一个例子甚至会让像Fable 5.2这样的模型推理大约一分钟才能回答这个问题,这将其牢牢归入非显而易见类别。Jev的回应几乎均匀地分布在真与假之间,表明它无法自信地朝任一方向决定。

当前沿智能体被要求让Jev接受这一结论时,它被迫分解其通过内部推理链得出的结论,从而产生一棵大型子主张树,如下所示:

以这种方式使用时,Jev有效地接受任何有能力的LLM能够直觉遵循的演绎步骤,即不使用内部推理token。这在完全遵循非形式化推理(这需要强大的世界模型和大量常识)与迫使证明作者在更高细节层次上阐明事物之间取得了必要的平衡。

输入假设和主张以自然语言书写,使人类观察者易于验证它们并跟随推理到任何细节层次。当然也没有形式化步骤,避免了形式化证明错误定理的问题。而且Jev是多模态的,所以我们还可以在论证中引用图表:

在智能体循环中运行System One模型的成本和延迟相对于智能体本身的成本和其他工具调用的延迟可以忽略不计。但正如预期,是有代价的。让Jev跟随非形式化演绎的世界模型和常识也使它容易犯人类审查者可能犯的错误。

首先,像任何System One模型一样,Jev并非完全确定性的,因此恰好落在区分“真”与“假”的置信度门槛附近的推理步骤可能最终来回摇摆。一个更有趣的失败模式是由Jev解决某些情况的能力引起的

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →