返回资讯中心
外部精选
软件工程
#社区热议

研究:AI生成的Lean代码需先验证才能证明数学定理正确

来源标题:Interpreting claims that a theorem is correct because it was checked in Lean

一篇博客文章指出,Lean代码能提供重要信号,但若是AI生成,需先做测试才能据此声称定理正确。OpenAI上月发布的722篇数学论文中约45%附带Lean代码,其中3篇未含Lean代码的论文因符号错误已被撤稿。文章提出四个问题,用于评估AI生成的Lean仓库是否可信。

Hacker Newsmatt_d2026/11/16 · 昨天20 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这篇文章试图用通俗的语言解释,如何理解“这个定理是正确的,因为它在 Lean 中检查过了”这类说法。总结来说:Lean 代码中确实存在一个重要的信号,但如果这段代码是 AI 生成的,那就需要先做一些检验。我们会解释这些检验,并指出在很多情况下(比如 OpenAI 的定理库),这些检验还没有被系统地做过。

上个月 OpenAI 发布的定理库包含 722 篇数学论文,其中大约 45% 附带了 Lean 代码。有三篇(未 Lean 化的)论文后来因为一个符号错误被撤稿。有人可能会说:“附带 Lean 代码的论文肯定是正确的,因为 Lean 就是这样工作的。”也有人可能会说:“Lean 曾经有过可靠性 bug,将来很可能还会有,而 AI 会 reward hack,所以 Lean 验证根本说明不了什么。”不出所料,真相要微妙得多,这篇文章就是试图解释这一点。

本文的结构是四个问题,在做出上述形式的正确性断言之前,需要先针对一个 Lean 仓库(尤其是 AI 生成的仓库)提出这些问题。在开始之前,我要强调:OpenAI 定理库中的许多论文,这些问题还没有全部得到肯定回答(但没有什么能阻止人们去回答这些问题,我也没理由认为下面任何一项检验会失败,只是人们还没做而已)。

一个 Lean 仓库通常会有一个“头条定理陈述”。这是一段计算机代码,定义一个定理的陈述(不是证明!)。请注意陈述和证明之间的巨大差别。例如,下面是一段可以完整编译的 Lean 代码,它定义了一个数学陈述。

import Mathlib def FermatsLastTheorem : Prop := ∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n

这段代码导入了 Lean 的数学库 Mathlib,然后定义了一个数学陈述,乍看之下像是费马大定理,但实际上是一个显然为假的陈述,因为在 Lean 中 ℕ 包含 0,所以取 a = b = c = 0、n = 3 就给出了一个反例。这并不妨碍这个陈述通过编译!但它会阻止这个陈述的任何证明通过编译。Lean 严格区分定理的陈述和定理的证明;人类则很擅长把这两个概念都叫做“一个定理”。

在评判一篇附带 Lean 代码的 pdf 时,首先要问的问题是:“Lean 代码中定理的陈述是什么,它是否对应 pdf 中实际的定理陈述?”对于人类 Lean 专家来说,这通常(但并不总是)是一个容易回答的问题。例如,任何具备 Lean 能力的数学家都能读懂上面两行代码,并看出这是对费马大定理的错误陈述。

然而,事情并不总是这么简单。目前,由于可用库的不足,一个人可能不得不阅读数千行代码,才能理解一个形式化定理的陈述。眼下的一个例子是 DeepMind 的 Formal Conjectures 仓库的一个 PR,其中包含 Hodge 猜想陈述的 Lean 形式化。在撰写本文时,这个陈述依赖 Mathlib 之上超过 10,000 行的代码,因为 Mathlib(经过人类专家仔细检查、可以信任)还没有做出该陈述所需的 cycle class map 等定义。另一个例子是 Axiom 最近宣布的对有限单群分类的形式化验证证明。Axiom 的系统所证明的陈述在 Tau Ceti 中,这是一个 AI 生成的 Lean 代码库。包含该陈述的文件导入了 Tau Ceti 中超过 250K 行 Lean 代码(超过 900 个文件)。其中大约 5600 行代码至关重要,因为它们包含了所有相关定义(例如所有 sporadic 单群的定义,其中大部分仍不在 Mathlib 中)。没有人工检查,人们并不能真正确定这确实是分类的正确陈述(请注意,我还没有遇到任何声称仔细检查过 Tau Ceti 中 sporadic 群定义正确性的人)。事实上,我们拥有的、证明这个陈述被正确形式化的最强证据,就是 Axiom 的代码证明了它!

值得注意的是,在 290 篇附带 Lean 代码的 OpenAI 定理中,大约有 38 篇的 Lean 代码甚至没有陈述论文的主定理,更不用说证明了。而 OpenAI 从未声称它做到了!他们只是说“这里有一些与这篇论文配套的 Lean 代码”。有时代码只是陈述并证明了一些中间结果——我的印象是,OpenAI 决定在一些形式化工作尚未完成时就上线,于是直接把现有的东西发布了出来。举一个具体的例子:论文 194 声称证明了交换代数中的 Lech 重数猜想,对维数、剩余域或特征没有任何限制;这个问题自 1960 年以来一直悬而未决。可以检查出,相应 Lean 代码中的头条定理是论文的 Corollary 5.4——这已经是一项了不起的成就,但不是那个头条结果。

一旦你确信自己理解了 Lean 代码声称要证明的定理陈述,你(或者你某位能 access 一台强悍机器的朋友,如果代码库很大的话)就必须真正编译这些代码。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →