
Energy-Based Reasoners:仅180万参数,推理效率提升385倍
来源标题:Energy-Based Reasoners: 385x more efficient inference
研究者提出 Energy-Based Reasoners(EBRs),通过学习潜推理状态上的能量函数,把循环更新表述为该能量上的梯度下降,无需外部验证器即可给候选预测打分并判断何时停止。EBR 仅 180 万参数,在 Sudoku-Extreme 上达到 99.9% 准确率,推理算力比次优模型少 345 倍。在 N-Queens 和 Graph Coloring 上,EBR 取得当前最佳覆盖率,单样本准确率接近 100%。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
arXiv 代码 简而言之 —— 我们提出基于能量的推理器(Energy-Based Reasoners, EBRs),这是一种推理模型,它在潜在推理状态上学习一个能量函数,并将循环更新表述为对该能量的梯度下降。其能量值无需外部验证器即可为候选预测打分,而其梯度则指导细化并提供自然的停止信号。EBRs 仅拥有 180 万参数,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍。在 N-Queens 和 Graph Coloring 上,EBRs 实现了最先进的覆盖率,同时保持接近 100% 的单样本准确率。
循环是一种强大的推理归纳偏置。通过反复迭代循环块,循环模型可以扩展其有效深度,并在潜在空间中实现多步推理。然而,现有的循环模型本质上并不受显式进度度量的引导,使得难以确定何时停止循环以及如何改进当前状态。为实现这一目标,我们引入基于能量的推理器(EBRs),它在潜在推理状态上学习一个能量函数,并将循环更新表述为对该能量的梯度下降。能量为潜在状态打分,而其梯度则指导细化并提供停止信号。为了有效训练 EBRs,我们进一步引入基于探索的训练,以发现额外模式并更好地在更广泛的状态集上塑造能量景观。在四个算法推理基准上,EBRs 匹配或超越了先前的循环推理模型,在 Sudoku-Extreme 上达到 99.9% 的准确率,同时推理计算量比次优模型少 345 倍,并保持可比的训练计算量。在所有多解基准上,EBRs 实现了对不同有效解的最先进覆盖率,同时保持接近 100% 的单样本准确率。这些结果表明,基于能量的模型是实现强推理性能的一种有前景的方法。
现有的循环推理器在更新其潜在状态时没有任何显式评估。EBR 学习一个能量函数来指导细化、停止和选择。 评分。能量评估推理状态 z 与初始棋盘 x 之间的兼容性。越低表示兼容性越好。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。