
研究显示AI解谜能力存在明显边界:简单谜题反而表现不佳
来源标题:Simple Puzzle Reveals AI's Jagged Intelligence
一项分析发现,AI在滑块拼图任务中呈现「锯齿状智能」:训练数据充足时接近完美,但面对更简单的谜题时表现急剧下滑。随机抽到20步以内可解的简单谜题概率约为三百万分之一,属于极端离群情况。图中红色曲线显示AI能力边界呈锯齿状,性能在简单区域骤降。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
你会注意到,这些谜题都被充分打乱了。就像洗过的牌不太可能恰好按顺序排列一样,这些滑块也不太可能恰好落在正确的位置上。
可能性有多低?要想看到上面那种难住 AI 的棋盘,你得点击上方“获取新谜题”按钮几千亿次。如果每秒点一次,你得等上八千年。
下面这张图展示了这个谜题全部 10,461,394,944,000 种排列方式,并按解开它们所需的步数分组。
大多数随机选出的谜题都落在这个分布的主体范围内,至少需要 30 步才能解开。(实际上,除非你能以完美最优的方式操作,否则需要的步数要多得多。)
反过来,随机选出的谜题中,距离解开只有 20 步或更少的非常少——概率大约是三百万分之一。简单的谜题是极端的离群值。
现在我们来看看 AI 在不同难度水平上的表现:
这条红色曲线揭示了 AI 能力中一道锯齿状的边界。在训练数据充足的区域,它表现得近乎完美。但在更简单的谜题上,它的表现却急剧下降。(用计算机科学的行话来说,它无法“泛化到分布之外”。)
既然生成式 AI 是通过模仿数据来学习的,那么它在训练数据之外的谜题上表现更差也合情合理。但下面这一点让我觉得最出乎意料:
第一,它失败的方向与人类学习者相反。
AI 能解开最难的谜题,却在最简单的谜题上失败。这与人类学习的方向正好相反。
我们必须先学会解简单的问题,才能应对更难的问题——先学走,再学跑。较容易的问题是我们通往较难问题的垫脚石。
但 AI 可以跳过我们的垫脚石,就像学会了跑却不知道该怎么走。
第二,它揭示了 AI 学习效率之低。
尽管这个 AI 已经用一百万个谜题训练过——比你可能一辈子见到的还多——它仍然没能把能力扩展到最简单的谜题上。
这揭示了人类与 AI 系统学习方式的一个重要差异。只需相对很少的示例,我们就能泛化到“训练数据”之外。而当今的 AI 很难做到这一点,尽管它接触到的数据比我们多得多。
“这些模型的泛化能力就是比人差得多,而且这一点极其明显。这似乎是一个非常根本的问题,”AI 研究者、OpenAI 联合创始人 Ilya Sutskever 在 2025 年接受 Dwarkesh Patel 采访时说。
这个 AI 学会解这个谜题,很可能不是像我们那样理解了它,而是使用了捷径——那些能得到正确答案、但理由错误的策略。
这些捷径在典型情况下很管用,所以它能解开 99.9% 的随机打乱棋盘。但在训练范围之外的不熟悉情况下,它们可能把 AI 引入歧途。(正如一组微软研究人员的说法:“捷径在统计上是脆弱的。”)
以下是计算机科学家 Melanie Mitchell 今年早些时候在《The Yale Review》上对锯齿状智能的描述:
“总的来说,当今的 AI 系统表现极其出色,直到——往往是出人意料地——不再出色。它们前后不一致,缺乏判断自己何时该对答案有信心、何时该不确定的意识,容易受到操纵性提示的影响,并且在与其训练数据差异足够大的任务上举步维艰。”
而且这不只是关于 15 数码问题。2022 年,研究人员发现,一个能以超人水平下围棋的 AI 程序,如果对手走出其训练数据之外的业余棋路,就可能被骗输掉比赛。
在落入这个陷阱时,AI 仍然自信会赢,尽管普通人类棋手都能轻易看出这个陷阱。
“看似达到人类水平的 AI 系统,往往是以一种非常异类的方式做到这一点的,因此可能以令人类惊讶的方式失败,”研究者 Adam Gleave 在 2022 年对 Ars Technica 说。
这不仅仅关乎 AI 在棋盘游戏上是赢是输。它还关乎它在可能危害人类生命的不熟悉情境中会做什么。自信地犯错可能带来可怕的后果。
以下是关于如何看待人工智能锯齿状边界的三点启示:
第一,技能不等于理解。15 数码的寓言告诉我们,AI 可以获得极高的技能,却不必发展出支撑这种技能的人类直觉。它可以近乎完美地模仿专家,却在最简单的解法上跌跤。
第二,AI 可能自信地犯错。它在类似训练数据的任务上表现良好,但在不相似的任务上可能毫无预警地失败。随着许多机构越来越依赖生成式 AI,这正成为一个日益令人担忧的问题。
最后,它会走捷径。这些捷径使 AI 难以泛化到训练数据之外。(这也是 AI 需要如此多训练数据的原因之一。用大量多样化的数据训练 AI,会惩罚其中一些捷径,帮助它学到更通用的模式。)
现在,当今的“推理”模型显然远远超出了这个简单的 GPT。在下一篇文章中,我将演示几个巧妙的技巧如何帮助我们的 AI 成为更好的学习者。
Aatish Bhatia 是一位视觉记者、科学教育工作者和物理学家。在 Bluesky 上关注他,或向他问好。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。