
工程师用Snowflake Cortex搭建LLM分析工具:SQL正确不代表答案安全
来源标题:Your LLM writes good SQL. That’s not the same as safe SQL
在Snowflake Cortex上构建LLM分析工具的工程师指出,text-to-SQL的常见测试方式只验证查询能否运行、结果是否符合预期,却忽略了“回答对象是否正确”。例如销售代表查询“我的医院季度销售”,模型可能返回整个区域所有医院的数据,SQL本身无误但结果存在权限问题。作者建议在生成查询前先确认提问者的角色、业务单元、辖区和分配账户。
以下正文由 AI 翻译自 InfoWorld(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
做数据工作几年后,我逐渐认识到,AI 系统中最难的部分很少是模型本身。真正棘手的是:谁有权问什么。这个问题在我用 Snowflake Cortex 构建一个面向医疗健康互动与外勤绩效数据的 LLM 分析工具时浮现出来。这个工具让人们用自然语言提问,把周期性分析任务的交付时间从几天缩短到几分钟。它也让我意识到,一个快速且准确的答案,仍然可能是错误的答案。
查询正确,不代表结果正确
我们大多数人测试 text-to-SQL 的方式都一样:提一个问题,确认查询能跑通,再把输出和预期结果对比。这种做法一直管用,直到某个答案对错误的人而言是“正确”的。设想一位销售代表输入“我的医院的季度销售额”,结果却拿回了该地区所有医院的数据。SQL 本身干干净净,结果却仍然是个问题。同样的事情也可能发生在多租户应用、HR 系统或财务工具里。
先搞清楚是谁在提问
我要做的第一项改变,是限定模型能看到什么。在生成任何内容之前,先查出提问者是谁:其角色、业务单元、辖区和负责的客户。然后只把这个人有权使用的表和列交给模型。客户 ID、合同条款、薪资等敏感字段,应当在元数据目录中打上标签,从一开始就不提供给模型。这听起来显而易见,但演示跑通的时候,很容易被跳过。
Prompt 不是权限系统
人们很容易想当然地在 system prompt 里加一句“只显示我的辖区”,然后就觉得万事大吉。我理解这种诱惑。但 prompt 只是一种建议,模型可能忽略它、忘记它,或者在遇到难题时误读它。更好的做法是:解析生成的 SQL,并在执行前改写它,让规则存在于模型无法靠“嘴”绕过去的代码里。在这项工作背后的基准测试中,900 条测试查询里最常见的修正,是在 WHERE 子句中添加行过滤(285 次)。其次是列掩码(240 次),然后是范围限制(165 次)。
是或否,很少是真正的答案
大多数真实问题并不能简单地归入允许或拒绝。同样在这 900 条查询中,40% 可以原样执行。另有 20% 需要行过滤,15% 需要列掩码,11.7% 需要重写 join。约 6.7% 转交人工审核,另有 6.7% 被拦截。大多数人仍然得到了有用的答案,只不过是一个更安全的答案。我认为这个取舍是值得的。
执行前先检查,并保持账号权限最小化
每条查询在执行前都要校验。拒绝 SELECT *、跨范围的数据拉取、过大的结果集以及有风险的 join。然后让所有查询都通过一个网关,由该网关使用权限很窄的数据库账号连接。这样,即使模型“发挥创意”,prompt injection 或糟糕的生成结果也无法绕过你的规则。
统计泄露,而不只是准确率
准确率数字可能掩盖真正的问题。纯 text-to-SQL 在某些查询上返回了多达约 80 行未授权数据。静态的基于角色的访问控制仍然会泄露,因为它看不到上下文。策略感知的方法则没有泄露,而且每条查询只增加了约 6.5 毫秒——在实践中没人会察觉。记录下问题、用户上下文、应用的策略、最终 SQL 和结果。当合规团队问起谁看到了什么、为什么能看到时,你希望答案是几分钟内给出,而不是几周。
如果你正要开始这项工作
我的建议是:先确定用户是谁,再决定模型有多聪明。先把访问规则做对,再调准确率。模型写 SQL 的能力会越来越强。真正让它值得信任的,是查询执行前后发生的一切。 来源说明:所有结果均来自合成、去标识化的基准测试。未使用任何真实的患者、医疗服务提供方或商业记录。这项工作基于《Governed LLM-to-SQL for Pharma Commercial Data》,该文已被 IEEE ICICNIS 2026 接收。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。