返回资讯中心
外部精选
软件工程
#开发者实时流

Artificial Analysis 发布决策指数 v2,引入校准置信度新指标

来源标题:The Artificial Analysis Decision Index v2

Artificial Analysis 发布 Decision Index v2,45% 的评测基于私有数据集(v1 为 25%),并新增 Decision Score 指标,同时奖励正确性与校准置信度。Nace AI 的 Drex Max v1.1 以 73 分在决策模型中领先,GLiDE v1.2 与 Mammoth 27B 均在其 1 分之内。新增 AA-Paperclip 私有基准占 30%,包含 1500 份简历、收据、发票及 AI/机器学习论文。

Hacker News 最新hjun10522026/11/9 · 9 天前20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Artificial Analysis Decision Index v2 发布:一项全新的专有评估、更新后的基准,以及一个奖励模型校准度的核心指标

我们发布了 Artificial Analysis Decision Index 的第二版,以更好地反映真实场景中的实用价值,并防止基准被钻空子。目前 Index 中有 45% 建立在私有数据集之上,高于 v1 的 25%。来自 Nace AI 的 Drex Max v1.1 在决策模型中以 73 分小幅领先,与 GLiDE v1.2(Fastino Labs)和 Mammoth 27B(Baseten)的差距在 1 分以内。

➤ Decision Score:我们采用了一个新的核心指标,同时奖励模型的正确性和校准良好的置信度。每道题得分从 0 到 100:答对得分高于 50,答错低于 50,而模型对其首选答案的置信度会在各自半区内移动得分

➤ AA-Paperclip(30%):我们新增了一个包含 1,500 份文档的私有基准,涵盖简历、收据、发票以及 AI 和机器学习研究论文。模型需对每份文档做出决策并抽取事实,并作为一个整体决策联合评分,只有全部 15 个答案都正确才算正确

➤ AA-Symmetry(15%):这项评估考察模型在面对措辞不同但等价的问题时是否会改变答案。我们测试 120 道题,并做多种变体,如重排选项、交换标签、对是/否题进行否定,然后衡量模型在这些变体之间概率的一致性

➤ AA-Omniscience-Decision v1.1 和 HLE-MultiChoice v1.1(各占 15%,此前为 25%):AA-Omniscience-Decision 现在将其“我不知道”选项的措辞在十种替代表述之间变化。HLE-MultiChoice 增加了一个使用同样十种表述的拒答选项

我们还新增了 EvalSafe-ONET-AA(15%),这是我们对 TypeSafe AI 的 ONET 基准的实现。我们保留了 NVIDIA 的 When2Call,但将其在 Index 中的权重从 25% 降至 10%,并因 WildGuardTest 饱和度过高而将其移除。

➤ 三个决策模型在 Index 榜首 1 分之内:来自 Nace AI 的 Drex Max v1.1 和来自 Fastino Labs 的 GLiDE v1.2 均得 73 分,来自 Base Labs 的 Mammoth 27B 得 72 分

➤ 各决策模型的每 100 万任务成本相差超过 60 倍:Celeris-1.1 Decision($14)、Decider v1.2($68)和 Drex Max v1.1($102)位于 Decision Index 与成本帕累托前沿上,而 Clef 的成本为 $859。token 价格并非唯一的成本驱动因素:包括 Drex Max v1.1 和 Decider v1.2 在内的大多数决策模型,对一份文档的输入只计费一次,供其所有问题使用,而 GLiDE v1.2 和 Decider Flash v1.2 则对每个问题都计费一次。这意味着 GLiDE v1.2 的成本为 $780,尽管其标价仅高出 33%,却比 Drex Max v1.1 高出近 8 倍

➤ 语言模型可以拿到更高的分数,但每任务成本和耗时也更高:Claude Haiku 5.5 (Max) 在 Decision Index v2 上得 77 分,GPT-6 Luna (Max) 得 76 分,比 Drex Max v1.1 高出约 3 分。GPT-6 Luna (Max) 每 100 万任务成本为 $1,530,而 Drex Max v1.1 为 $102(成本为其 15 倍),每任务耗时 11.34 秒,而后者为 275 毫秒(慢约 40 倍)

Decision Score 同时奖励正确答案和校准良好的置信度。决策模型的答案通常在其置信度超过某个阈值时才会被执行;否则会被转交给人工或能力更强的模型。Decision Score 衡量的是所有阈值下的平均收益,因此不依赖于选择某一个单一截断值。

对于每道题,得分为 50 × (1 + c − (p − c)²),其中 p 是模型赋予其所选答案的概率,c 是该答案是否正确的标记(正确时 c = 1,错误时 c = 0)。在一次评估中,这等于 50 × (1 + 准确率 − Brier 分数)。

纳入置信度会影响整体排行榜排名。在 AA-Paperclip 上,就原始准确率而言,Clef 通过了 36% 的文档,Celeris-1.1 Decision 通过了 24%,但 Celeris-1.1 Decision 凭借更好的校准度(Brier 分数为 0.15,而 Clef 为 0.27)在 Decision Score 上与前者持平。在整个 Index 上,GLiDE v1.2 在准确率指标上领先 Drex Max v1.1(60 对 58),而 Drex Max v1.1 在 Decision Index 上略胜一筹。

AA-Paperclip 测试模型从真实文档中抽取事实并做出决策的能力。其 1,500 份私有文档每份包含五项决策和十项待抽取事实。关键指标衡量的是模型全部答对 15 道题的文档占比。对于 Decision Score,模型对一份文档的置信度是其 15 个答案概率的乘积。

Claude Haiku 5.5 (Max) 通过了 92% 的文档,GPT-6 Luna (Max) 通过了 86%。Drex Max v1.1(63%)和 GLiDE v1.2(62%)领跑决策模型,其次是 Decider v1.2(55%)。全对要求将那些在单题上看似接近的模型区分开来。Drex Max v1.1 答对了 97% 的题目,接近 Claude Haiku 5.5 (Max) 的 99%,但文档通过率为 63%,而 Haiku 为 92%。决策模型失去大部分文档的原因在于决策而非抽取:Drex Max v1.1 在 71% 的文档上正确做出全部五项决策,在 88% 的文档上正确完成全部十项抽取。

AA-Symmetry 衡量模型在被问及等价问题时的答案一致性。我们取一个固定任务集,做诸如重排选项、交换标签或否定是/否题等改动。AA-Symmetry 包含 120 道基础题,共 440 个变体,同时测试所选答案及其概率的一致性。

来自 Baseten 的模型在 AA-Symmetry 上领先,这得益于其较高的弃答率。它们在各种问题变体之间始终以高置信度承认自己不知道答案,从而获得高一致性得分。Mammoth 27B 在 AA-Symmetry 上得 96 分,Elephant 9B 得 93 分。Mammoth 27B 在 99% 的题目上于各变体之间选择了相同答案,而 Drex Max v1.1 为 91%,GLiDE v1.2 为 88%,Clef 为 67%。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →