
自适应路由:让路由器从自身结果中学习该信任哪个模型
来源标题:Adaptive Routing: Learning which model to trust
文章探讨路由器能否在没有标签、不依赖外部信息的情况下,从自身工作结果中学习为每个请求选择最合适的模型。目前多数团队直接选用能负担的最强模型处理所有任务,因为逐一测试每个模型成本太高。而模型之间价格相差数倍,质量差距因任务而异,小模型在某些任务上不输大模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
现在有几十个能力出色的语言模型,它们并不能互换使用。最贵的模型每个任务的成本是最便宜模型的数倍,而它们之间的质量差距在很大程度上取决于具体工作。在某些任务上,小模型和任何可用模型一样好。在另一些任务上,它大多数时候都会失败,只有前沿模型才能胜任。
大多数团队用最简单的方式处理这个问题:选一个模型,把所有请求都发给它。通常这是他们能负担得起的最强模型,因为错误答案很容易想象,而虚高的账单却不容易察觉。在每一个模型上测试每一条工作流,而且每次供应商发布新模型时都要重新测一遍,大多数团队没有这个时间。
路由器可以接手这项工作。它位于应用和模型供应商之间,为每个请求决定该由哪个模型处理。难的部分不是路由,而是知道该路由到哪个模型。这种知识因工作类型而异,会随着模型变化而变化,而且没有人会直接交给你。
本文提出一个范围很窄的问题:路由器能否从自身工作结果中学会该信任哪个模型,不需要标签,也不需要被告知任何关于模型的信息?我们构建了一个这样的路由器,名为 Sovereign,并在八个公开基准上对它进行了测试,与团队原本要手动做出的两种选择进行对比:始终使用前沿模型,或始终使用小模型。
我们发现它可以做到。在编程和逻辑任务上,Sovereign 达到或超过前沿模型的准确率,而花费只是前沿模型成本的一小部分。在长流程的工业和金融工作流上,它落在两者之间,以三分之一的前沿模型价格远远领先于小模型。在小模型已经足够好的地方,它也能学会这一点。而且它工作得越多,表现就越好。
前沿模型的定价是针对它们所处理的最难工作,而大多数工作并不是最难的。把所有请求都发给最强模型的团队,是在为那些用价格只有几分之一的模型就能同样好地回答的问题支付前沿价格。把所有请求都发给小模型的团队省了钱,却悄悄丢掉了那些需要大模型的案例。这两种默认做法都不是在所有地方都错;每一种都在某些地方出错,而团队很少知道错在哪里。甚至排序也不是固定的:在我们的一个编程基准上,小模型的得分和前沿模型一样高。
显而易见的解决办法是制定规则:简单请求发给小模型,困难请求发给大模型。在实践中,“简单”和“困难”并不是请求本身的属性。它们描述的是某个特定模型在某类特定工作上的表现,而且每当模型发布或重新定价时,它们就会变化。没有人会注意到,直到账单或错误率提醒他们。
如果规则会过时,替代方案就是从结果中学习。但结果很少带有标签。在生产环境中,没有答案键告诉你某个模型对客户的回复、或它对某个 bug 的修复是否正确。一个会学习人心的路由器必须自己评判工作,而且要可靠到它得出的经验是真实的。
这就是 Sovereign 遵循的设计,如图 2 所示。每个请求都发给它选定的模型。Sovereign 对每一份完成的工作打分,使用的模型从来看不到答案键。这些评分积累成一份记录,说明每种工作类型中什么有效,而这份记录会塑造下一次选择。
没有人标注任何东西,也没有人告诉 Sovereign 哪个模型擅长什么。学习确实需要尝试,而尝试是有成本的;我们将在讨论中回到这个成本是否值得支付的问题。
在覆盖编程、逻辑、推理、知识和长流程制造、半导体及金融工作流的八个基准上,我们发现:
我们设计实验时,是在同等条件下将 Sovereign 与团队实际面临的选择进行比较:
图 1(见本文顶部)将每个实验组放在每个基准的一张图上:纵轴是准确率,横轴是每个任务的成本。Opus 位于右上角,准确但昂贵。Haiku 位于左下角,便宜,而且在大多数基准上准确率较低。如果路由器落在 Opus 的左上方,它就证明了自己的价值:准确率几乎相当或更高,而花费更少。
在每个基准上,Sovereign 都落在 Opus 的左侧,而且在八个基准中的三个上,它还落在 Opus 的上方。
图 3 显示了 Sovereign 在每个基准上比 Opus 少花了多少,每个名称下方是准确率差异。节省幅度从 MMMLU 上的 43%(在该基准上即使 Opus 也不贵)到 Reasoning Gym 上的 81%。
在 USACO、LiveCodeBench 和 SATBench 上,Sovereign 的准确率也高于 Opus。这些是模型池中更便宜的模型能够匹敌前沿模型的基准,而 Sovereign 找到了它。在 SemiKong、FactoryBench 和 LedgerBench 上——这些是长流程运营和金融工作流,每个问题有很多步骤——它少花了 67% 到 70%,并落在两个基线之间:在 LedgerBench 上比 Opus 低 4 分,在 SemiKong 上低 11 分,在 FactoryBench 上低 15 分。在 Reasoning Gym 上,它与 Opus 相差约 1 分,在 MMMLU 上相差 4 分以内。
图 4 中与 Haiku 的对比提出了相反的问题:团队通过路由而不是始终使用最便宜的选项,能获得什么?
Sovereign 在每个基准上都比 Haiku 更准确,而提升幅度随工作难度而变化。在 USACO 上,Haiku 解决的问题不到一半,Sovereign 增加了 55 分。在 LedgerBench 上,它的得分是 Haiku 的两倍。在 Reasoning Gym 上,Haiku 本来就很强,提升很小,额外花费也很小:每个任务远低于一美分。
以上结果是整个运行过程的平均值。它们掩盖了一个会学习人心的路由器最重要的特性:它一开始什么都不知道,然后不断改进。
USACO 最清楚地展示了这一点,因为模型的选择几乎在每个任务上都很重要。Haiku 解决了 43% 的问题,Opus 解决了 96%。Sovereign 在运行开始时没有任何关于任何模型在奥赛编程上表现的记录。图 5 跟踪了它在截至目前已完成的所有任务上的准确率。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。