基准测试 HalachaBench 评估 17 款 AI 模型回答以色列首席拉比任命考试题的能力

2026年11月1日 · 希伯来语摘要：בעברית, בקצרה

HalachaBench 测试 AI 模型在回答以色列首席拉比署 semicha（拉比授任）考试真实题目时的表现。以下初步结果覆盖测试集上的 17 个模型：Cheshvan 5787 考期五份试卷的 60 道题（Niddah、Chuppah v'Kiddushin、Mitzvot HaTeluyot BaAretz、Mikvaot、Tefillah u'Brachot），该考期于 2026 年 10 月 12 日开始。每个模型对每道题用希伯来语闭卷作答三次。这些结果是暂定的，不是考试成绩。80 分不意味着模型能通过 semicha 考试，也不意味着其答案可以依赖来作 pasken 裁决。目前由一个 AI 评委（GPT-6 Astra，本身也是参赛者）为答案评分。评分标准由 AI 模型撰写、由 AI 模型审核；尚无拉比审核过这些标准，也尚无拉比给任何答案评过分。另有六次预先登记的运行尚未列入此表，无论得分如何都会加入：Gemini 4 Argon（用量配额耗尽）、Gemma 4 26B-A4B、Mistral Small 4 119B、Nemotron 3.5 Lightning 30B、Nemotron 3.5 Super VL 120B，以及第二次公开披露的 Qwen3.8 27B 运行（输出上限更大，是在看到第一次运行结果后追加的）。另外四个预先登记的开源权重模型（Granite 4.2 30B、Hermes 4.3 36B、Nanbeige4.3 33B、Olmo 3.1 32B Think）在回答任何问题之前被剔除：三个在登记的上下文长度下无法装入 GPU，运行时无法将 Olmo 的推理与答案分开。Claude Opus 5.5 将作为第二评委评分。引用任何数字前请先阅读下方的注意事项。

得分：答案达成评分标准的程度，0–100（见 Scoring），对 60 道题 × 3 次尝试取平均。三次中最差：每道题三次尝试中的最低分，再取平均。

95% 区间来自对题目的 bootstrap（在每份试卷内重采样，一道题的三次尝试保持在一起；10,000 次重复）。它们只覆盖题目选择带来的不确定性，不覆盖评委或评分标准误差——后者在这里可能更大。区间重叠本身并不意味着两个模型打平：逐题比较，Claude Fable 5.1 明显领先于其他所有模型（比 GPT-6 Astra 高 6.4 分，95% 区间 1.6 至 11.1），gpt-oss-20b 明显低于其他所有模型。未明显拉开差距的：GPT-6 Astra、GPT-6.1 Sol 和 Claude Opus 5.5；GPT-6 Luna 与 GPT-6.1 Terra 或 Claude Sonnet 5.5；Claude Haiku 5.5 与 Muse Glimmer 30B 或 Qwen3.8 27B；以及第 11 至 16 名之间的大多数配对。

¹ 部分运行没有产生答案文本。模型在仍在思考时用尽了我们设定的输出上限（DictaLM 180 次中 9 次，Qwen3.8 27B 180 次中 9 次；上限分别为 57,088 和 65,536 token，后者低于 Qwen 模型卡允许的值），或在思考后停止而未写出答案（Qwen3.8 27B 180 次中 10 次）。每次此类运行都再试一次；仍无答案的计 0 分，如同所有失败的答案一样。

² Llama 4 Scout 未通过一项运行前检查：当被问及是否拥有任何工具时，它声称拥有一个实际并不存在的网页搜索工具。它在无网络、无工具的密封容器中运行，因此予以保留，此处披露该失败。

本地模型在维护者自己的硬件上以 4-bit 量化运行。gpt-oss 以 MXFP4 运行，即其权重发布时的精度；其他本地模型相对于全精度版本可能损失一些分数。全部 17 个模型的 180 个测试答案每一个都已评分。

题目。试卷由两个 Claude 模型（Claude Fable 和 Claude Opus）从页面图像转录两次，由 Claude Fable 5.1 对照图像裁定每一处差异。尚无人校对文本。题目为首席拉比署所有，此处不予转载；试卷发布在 gov.il 上。诸如 5787-cheshvan-niddah-iyun-q03 的题目 id 标明试卷、部分和题号。

作答。每个答案都在全新进程中撰写，除题目、考试规则（用希伯来语作答、引用来源、最多 600 词；该限制只是指令，更长的答案未被截断）和一条固定的闭卷作答指令外，不携带项目的任何内容。无网页搜索。Claude 模型运行时关闭了所有工具；其 726 次运行中仍有 6 次尝试调用工具，被停止并重新运行。GPT 和 Gemini 程序无法关闭所有工具，因此禁止使用工具，并对每次运行实时监控；它们的测试运行均未使用工具。尝试使用工具或结束时没有答案的运行会再跑一次，第二次失败计 0 分。本地模型在无网络、无工具的密封容器中运行。各程序的提示词并不完全相同：Claude 模型只看到一段简短的中性 system prompt，GPT 模型还看到 Codex 的内置指令以及一条附加的禁止使用工具的指令，Gemini 模型则看到 Antigravity 的内置指令。

评分标准。没有官方答案键。60 份评分标准均由 Claude Fable 5.1 按拉比撰写的方式起草（来源、Rishonim、裁决、其他公认观点、常见错误），每道题 9–12 条标准：7–11 条计分要求，1–3 条扣分错误。第二遍 Claude Fable 5.1 对每份草稿进行批评，随后修订。来自三家公司的三个模型（Claude Fable 5.1、GPT-6 Astra、Gemini 4 Argon）随后审核了每份评分标准：至少两个模型要求的修改予以采纳，仅一个审核者提出的每一点由起草者 Claude Fable 5.1 裁定，并附书面理由。Claude Opus 5.5 核查了 Sefaria 收录的引用来源（约 2,000 次查询，分四轮）；Sefaria 未收录的来源标记为未核实，另有四个小问题悬而未决。撰写或审核评分标准的任何人都未看过任何模型的答案。评分标准于 2026 年 10 月 29 日以加盐密码学承诺封存（该日期为封存日志自身的记录；承诺随本文公开）

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）