Blatent 发现基准测试分数有时不如答案可靠

我们着手衡量Struct的提取准确率。过程中发现，有时答案本身比分数更可靠。

在Blatent，我们以科学的方式推进模型开发，并秉持贝叶斯式的直觉：从我们最好的理解出发，收集证据，更新信念并迭代。但我们赋予证据多大权重，取决于证据是如何产生的。无论一个结果是印证了我们的预期还是挑战了它，我们都需要弄清实验实际测量的是什么。

本文记录了我们评估提取能力的早期工作：发现开放基准数据的丰富性、其中可能包含的噪声，以及要将其转化为关于模型的有用证据所需的谨慎。

基准分数看起来简单得令人安心。让多个模型回答相同的问题，统计正确答案的数量，再比较结果。

困难之处在于界定“正确”的含义。

Epoch AI的基准审查说明了其中可能出多少错。其对SWE-bench Verified的审查描述了会拒绝功能正确解的测试。其更广泛的审查框架也覆盖了相反的问题：奖励取巧或接受错误答案的评分器。两者都会扭曲我们对模型能力的理解。

我们Blatent的一些同事有物理学背景，因此最近一篇考察物理基准的论文引起了我们的注意。PHYBench中的一个例子要求计算把一组球体维系在一起的绳子的张力。模型给出了左侧的表达式；参考答案用的是右侧的：

如果你做过一点代数运算，就会立刻看出这两个表达式完全相同，只是写法不同。然而评分器给了该模型零分。

在评估Struct的精确来源提取时，我们遇到了同一问题的一个不那么数学化的版本。任务很简单：给模型一段文本，向它提问，让它直接从来源中提取答案，并保留原始措辞。不得改写，也不得从头生成答案。随后将提取出的答案与基准提供的参考答案进行比较。

在六个成熟的评估套件中，我们发现了模型提取了正确信息、却因答案与参考措辞不同而失分的例子。

有些差异小得近乎滑稽。

一个问题问Larry King为哪家公司工作。参考答案是：

它在精确匹配上得零分，在基准的部分得分指标下也是零分。

公司是对的。缺失的所有格后缀决定了分数。

把这些基准简单描述为比较原始字符串并不公平。我们使用的大多数评分程序都包含两项指标：归一化精确匹配和词元重叠F1。

精确匹配首先清理文本。它忽略大小写，去除标点和英文冠词，并规范化空白。这可以避免“the answer”与“Answer”之类无害差异变成错误。

词元F1更进一步，对预测与参考答案之间共享的词语给予部分分数。如果有多个参考答案，则采用最佳匹配。

两者都是合理的方法，也都解决了一些明显的问题。但两者都不真正理解答案的含义。

在CNN的例子中，去除标点会把数据集中用直撇号书写的CNN’s变成cnns。模型的答案则变成cnn。词元是常见的字符链，而不只是字母字符。在这种情况下没有匹配的词元，因此即便F1也给了零分。

每个数据集都受这些缺陷困扰，这些例子揭示了同一问题的不同版本：

在第二个例子中，段落明确引入了“programmed death receptor-1 (PD-1)”。这种等价关系由来源本身提供。

在第三个例子中，问题问狗鞋多少钱。段落给出的价格是“60 euros -- $89”。参考答案保留欧元金额；模型提取了美元金额。两者都直接来自来源，但归一化后没有共享词元，因此两项指标都给了零分。

这些例子影响了Struct以及用于比较的模型，例如Clairic、GPT-5.6 Terra和Luna、Claude的Sonnet和Haiku，以及Gemini的各个版本。它们揭示了测量中的局限，无论答案出自哪个模型，这些局限都存在。

这里数据集版本很重要。我们的六个套件包括Natural Questions、NewsQA和BioASQ的MRQA改编版，以及AdversarialQA、TyDiQA-GoldP和QASPER中与提取兼容的一个子集。例如，原始BioASQ支持可接受的同义词，并使用不同的评分程序。上述例子涉及的是我们实际运行的那些数据集和评估器。

当模型不是得零分，而是因为给出更完整的答案而实际丢分时，事情就更有意思了。

我们在QASPER中遇到了一个特别好的例子，这是一个围绕科学论文问题构建的基准。

来源描述了一组“over 30,000 images with 5 crowdsourced descriptions each”。

两位标注者提供了这些参考答案：

两者都识别出了相关信息，但选择了差异很大的答案边界。

Clairic回答over 30,000，获得66.7%的Answer F1。

Struct回答over 30,000 images，获得50%。

Struct包含了单位，使答案信息更丰富，却因此丢了分。

QASPER的官方答案指标是词元F1，所以说这些答案没有得分是错误的。问题更微妙：得分的高低并不能可靠反映答案传达所要求信息的程度。

这一局限也早有定论。NewsQA的原始论文明确讨论了语义等价的答案得到不同分数的情况。该基准的作者认识到，自动词汇指标可能漏掉有意义的等价关系。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）