返回资讯中心
外部精选
软件工程
#开发者实时流

Dot 发布 MalloyBench:评测语言模型编写 Malloy 查询的能力

来源标题:MalloyBench: Language models write Malloy well with its compiler

Dot 推出 MalloyBench,用 118 个刻意加难的数据任务评测语言模型编写 Malloy 查询的能力,模型可在编译器和数据库辅助下像 Agent 一样工作。Claude Opus 5.5 在高推理强度下答对全部 118 题,中位耗时 33 秒、成本 20 美分;GPT-6.1 Sol 在中等强度下答对 114 题,耗时 26 秒、价格约为前者四分之一。

Hacker News 最新zurfer2026/11/9 · 8 天前8 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

所有文章MalloyBench:借助编译器,语言模型能出色地编写Malloy 2026年10月28日,作者Rick Radewagen,阅读时长3分钟 结果 编译器带来了什么 工作原理 我们开发了Dot,一个AI数据分析工具,因为很喜欢Malloy,所以把它内置了进去。Malloy出自打造Looker的团队,是一种语义建模与查询语言:模型只需声明一次表之间如何连接、每个指标是什么意思,查询时就可以直接问“按地区划分的收入”,而无需重复说明连接方式和指标定义。而且Malloy是强类型的:它的编译器会在任何东西运行之前,对照模型检查查询,并指出哪里错了、错在哪里。对AI agent来说,这就是一个秒级的反馈回路。

MalloyBench衡量的是哪些语言模型能写好Malloy,基于118个刻意设计得很难的数据任务,以免测试饱和。在这里,模型像在Dot中一样作为agent工作,编译器和数据库就在手边。我们让八个模型在18种推理设置下运行,全部使用标准档位,以便比较它们的耗时。

Claude Opus 5.5在高强度下答对了全部118题,中位耗时33秒,花费20美分。GPT-6.1 Sol以四分之一的价格紧随其后:中等强度下答对114题,耗时26秒。Gemini 4 Argon准确率几乎相当,但要花两分钟;而最便宜的设置——Claude Haiku 5.5和GPT-6 Luna高强度——以1到2美分的成本通过了大约一半。

强模型需要的步骤很少:Opus 5.5三步给出答案,Sol不到五步,通常只跑一次看看数据行。通过约一半的模型则需要八到十四步,耗时一分钟以上。

每一种设置在借助编译器时都比仅凭记忆通过得更多:中位设置提升了35个百分点,GPT-6.1 Sol提升最多,从42%升到97%。

当被要求给出1995年每个月的收入以及与前一个月相比的变化时,Claude Sonnet 5.5在低强度下尝试了三次,耗时6秒:

编译器的第一次回复指出了修复方法;第二次是~ @1995中的一个编译器bug(#3162),模型绕过了它。仍然失败的很少是语法问题:一百个失败答案中只有一个无法编译。大多数返回了错误结果,这是编译器无法捕捉的,其余的则大多用完了步数。没有编译器时,模型会重复同样的几个错误,而Malloy本可以吸收其中好几个。

这些任务是MalloyBench的118个任务,分布在三个档位的六个数据集上,当答案在完整数据及其两个样本上返回与参考结果一致时才算通过。模型会拿到Malloy模型和每个数据源的schema,约4,000个token,以及三个工具:编译查询以查看其SQL或错误,运行查询以查看行数和最多20行,或者提交。任务在提交时或12次工具调用后结束。

成本按2026年10月的标价计算,每一步像agent那样从缓存中读取上一步的prompt;Gemini 4 Argon的价格是 Introductory 价格,12月1日翻倍。时间是模型自身的耗时,对其各步骤求和,取任务的中位数。每种设置对每个任务各回答一次。

harness和公开的那一半任务在github.com/Snowboard-Software/malloybench,其中--tracks agentic运行此设置。

感谢Lloyd Tabb阅读本文草稿。

Rick是Dot的联合创始人,致力于让每个人都能访问数据。当他不构建AI驱动的分析时,你会发现他痴迷于排列整齐的像素,并通过学习新语言给自己带来惊喜。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →