
研究:将任务专业知识融入强化学习,在Text-to-SQL任务上实现SOTA性能
来源标题:Putting Task Expertise into RL Achieves SOTA Performance on Text-to-SQL
一项研究提出将任务专业知识融入强化学习,在Text-to-SQL任务上达到SOTA性能。人类在BIRD基准上得分92.96%,而LLM榜单成绩从2024年的略低于70%提升至如今的82%,前沿模型可到85%左右但成本过高。难点在于真实场景中问题模糊、schema高度依赖上下文。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
许多行业依赖用 SQL 查询的关系型数据库。大多数 SQL 由机器编写,但仅人类每月就可能编写数十亿条自定义 SQL 查询基于我们的内部估算和公开数据,例如 Snowflake 的申报文件。,用以回答业务问题。人类在这方面相当擅长——在 BIRD 这一将自然语言问题转换为 SQL 的真实基准上,人类得分 92.96%。
然而,AI 在 text-to-SQL 上的表现一直落后。LLM 在 BIRD 排行榜上的得分从 2024 年的略低于 70% 提升到如今的 82%。像 GPT-5.6 Sol Ultra 和 Claude Fable 5 这样的前沿模型可以拿到 85 分左右,但其成本对于高并发应用而言高得令人却步。这并非因为缺乏训练数据:在用于 LLM 预训练的互联网内容中,SQL 广泛存在。AI 面临的挑战在于应对真实世界示例中特有的模糊问题和高度依赖上下文的 schema。
提升 AI 在人类擅长的任务上表现的一种常见方法是构建 agentic scaffolding。OpenHands、AI co-scientist 和 MetaGPT 等系统将任务分解为多个阶段,每个阶段都有自己的 prompt 或模型调用。Text-to-SQL scaffold 遵循同样的模式。一个 schema-linking 阶段将数千个列缩小到候选集。真实世界的企业数据系统(包括数据库、数据仓库和数据湖仓)包含多达数百万个列。回答业务问题通常涉及理解应使用哪些列。学术基准则更简单。一个生成阶段对查询进行采样。一个自我纠错阶段修复执行错误。一个选择阶段在幸存者中投票。每个组件都是一次单独的调用,而编排通常针对给定基准进行调优。
NL questionDB schemaSQL queryOrchestrationIntent disambiguationSchema linkingQuery generationRefinementMerging & selection 来自 [1, 2, 3] 的最先进 text-to-SQL scaffolding。这三个系统在组件构成上有所不同,但共享一个设计前提:模型保持固定,任务表现通过增加对其调用的数量和结构来提升。
Scaffolding 试图通过让模型遵循一系列模仿人类处理任务方式的步骤,来克服模型推理的局限性。然而,最好的 scaffolded 模型在 SQL 上仍落后人类 11 分。人类专业人士通过反复实践获得技能,而不是被递给一列指令——LLM 也应如此。应当利用任务经验,将关于查询和数据库的更好推理训练进模型,而不是简单地更新它从 scaffold 接收的 prompt。
在这篇博文中,我们描述了在 Tinker 上使用带可验证奖励的强化学习(RLVR)微调一个模型,使其在无 scaffolding 的情况下在 text-to-SQL 上达到人类水平的准确率。
用 SQL 提取正确答案是一项可验证的任务,可以以直接的方式训练。然而,SQL 模型的性能差距表明标准配方可以改进。我们的方法有两项关键改进:一个经专家验证、清除了可能毒害 RLVR 的标签错误的训练集,以及一种针对 RLVR 在该领域两种常见失败模式的奖励塑造技术。
训练后的模型 ReViSQL-K2.6 在从 16 个样本中选择(SC-16)时超过了 92.96% 的人类基准SC 指自一致性选择,即我们按执行结果将并发生成的 SQL 查询分组,并从多数组中随机选择一个查询。这两个组件都不是传统 agentic scaffold 的一部分:样本生成只是从同一模型 prompt 中抽取多个输出,没有单独提示的中间步骤,而多数投票不需要额外的模型调用。,每任务成本为 0.56 美元。它比 Fable 5 和 GPT-5.6 Sol Ultra 更准确,成本仅为后者的 12–15%,并且比排行榜上任何 scaffolded 模型都准确得多。
Claude Fable 5Scaffolded pipelines70%75%80%85%90%95%$0.001$0.01$0.10$1$10Arcwise-Plat-SQL accuracy (%)Cost per final query (USD, log scale)Human proxy, 92.96%greedySC-16greedySC-16greedySC-16OpenSearch (GPT-5.2)GenaSQL (GPT-5.2)Contextual (XiYan-32B)CSC-SQL (XiYan-32B)SHARE (GPT-5.2) 我们的单模型方法 ReViSQL-K2.6 在经专家验证的 Arcwise-Plat-SQL 基准上,取得了比前沿模型和先前开源 scaffolded pipeline 更高的准确率。在 16 样本自一致性(SC-16)下,ReViSQL-K2.6 首次超过了 92.96% 的人类基准。
代码、数据和训练配方见 github.com/uiuc-kang-lab/ReViSQL。我们在技术报告中进一步详细描述了我们的方法。
RLVR 在提升领域特定推理方面很有效,但对标签有误的数据很敏感。在 RLVR 中,标量奖励是训练步骤的全部学习信号。标注错误的实例会反转信号,显著降低学习效果。我们的研究发现,算法上的调整无法弥补这一损失——清理数据对于 RLVR 良好运作至关重要。
我们发现现有的 text-to-SQL 数据噪声极大。许多人也指出了公开 SQL 数据集的噪声问题,例如 Pourreza 和 Rafiei(2023)以及 Wretblad 等人(2024)。我们的分析表明,许多广为人知的基准包含大量噪声。我们从 BIRD Train(一个 text-to-SQL 训练数据集)中采样了 2.5k 个实例。我们的审计发现数据集的每个组成部分都存在错误:问题、提供的外部知识,以及超过一半的用于比对模型答案的“黄金 SQL 查询”。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。