Telem.ai 实测12个AI代理搜索API，单一最优供应商仍不够用

我们还自行挑选了五分之四搜索所用的组合，并在其余搜索上进行了测试。随后有两个提供商达到了75.5%，四个提供商达到了82.6%。

表格中的行按提供商家族分组，分组依据是它们结果的重叠程度。Google结果组：serper、firecrawl、tinyfish、tavily和serpapi。brave和you.com构成第二个家族。自有索引：exa、perplexity、parallel、ceramic和seltz。我们的下一篇文章将详细介绍这些家族。

在Telem.ai，我们希望你的agent进行的每一次搜索都能在网上找到最佳答案，无论答案由哪个提供商持有。你不必再追踪哪个提供商擅长什么，因为这部分工作由我们替你完成。你的agent不应该因为问错了网络搜索提供商而错过答案。

让我们从一个简单的问题开始：一个优秀的提供商就够了吗？更好的问题是：最好的提供商就够了吗？我们在相同的agent搜索上测试了十二个提供商，并统计了每个提供商找到了什么。网络比任何单一提供商所能覆盖的都更广阔，即使是最好的提供商也只能看到其中一部分。

我们对来自AI agent的真实搜索进行了一系列实验，检查哪些提供商返回了答案。每增加一个提供商都要花钱，也会让你的agent有更多内容要读，所以我们想知道每个提供商能增加多少价值。完整设置见文末的方法部分。

单独来看，最好的提供商在其前五条结果中包含已知答案的比例为68%。大约三分之一的搜索在前五条结果中没有返回已知答案。没有哪个提供商特别突出：前三名彼此相差不到一个百分点，而谁排第一取决于你测试的是哪些搜索。

第二个提供商带来了大幅提升：约9个百分点，从68%到77%。第三个提供商又增加了约3个百分点，第四个增加了约2个百分点。从第五个提供商开始，每个提供商增加的都不到一个百分点。

每个提供商都以其在我们测试中的最佳模式运行。在默认设置下，曲线几乎相同：一到三个提供商分别为68%、77%和80%，全部12个提供商为83%。

你也不需要完美的组合。图1中的虚线是对所有可能组合的平均。随机选择一个提供商时，找到页面的比例为55%。随机选择两个提供商时，找到页面的比例为68%，大约与单独使用最佳提供商时相当。如果你不想自己测试12个提供商，这很方便。

图2按有多少提供商的前五条结果中包含已知答案对搜索进行了排序。从左边的全部12个提供商一直到右边的没有一个提供商。从右端开始看：对于16%的搜索，12个提供商中没有一个包含答案。增加提供商无法解决这些问题。agent必须换一种方式搜索，或者打开页面阅读。

紧挨着这个区域左边，就是提供商的选择起决定作用的地方。对于14%的搜索，只有一个、两个或三个提供商拥有该页面。如果你的agent所用的那个提供商不在其中，它就永远看不到答案。在最左边，只有5.5%的搜索简单到全部12个提供商都能找到。

这就是我们构建Telem来弥补的差距。单独来看，最好的提供商在这些搜索中约有三分之一错过了已知答案。第二个提供商每100次搜索中多找到了9次，而有些答案只存在于一到三个提供商那里。

这个测试只检查已知答案是否出现在前五条结果中。agent仍然需要阅读这些结果并正确获取答案。每增加一个提供商也会给它更多内容要读，我们将在后续文章中讨论这一点。所有这些搜索都是由一个agent编写的，每个问题一次搜索，所以你的agent的数据会略有不同。

那么这些额外的答案从何而来？我们的下一篇文章将探讨提供商结果的重叠程度有多低。之后，我们将探讨当agent在未命中后向另一个提供商发起查询时会发生什么。

想试试吗？在我们的playground中体验一个demo。

我们使用了363个带有已知答案的测试问题。每个已知答案都在我们搜索之前记录：要么是一个特定页面，要么是一个值，如数字、名称或日期。每次搜索都是我们的测试agent在九月份为该问题编写的第一次搜索，逐字重新发送。该agent是opencode，一个开源编码agent，运行一个语言模型，并以Telem作为其网络搜索工具。问题来自公开数据集（RealTime QA新闻测验、WIT、Exa的公司基准、MIRACL、FinSearchComp、LitSearch、FinanceBench和Needle in the Web），以及我们自己关于数据孤岛网站（内容难以通过搜索触及的平台）上帖子的问题。我们不公开第二组问题，因为这些问题的名称可能涉及私人个体。

新闻测验占问题的41%。去掉它们后，增加更多提供商带来的收益更大：最佳提供商为56%，两个为66%，三个为72%，全部12个为78%。

已知答案在前五条结果中。提供商前五条结果之一是问题的已知页面，或在标题或摘要中显示其已知值。用一个简单规则检查，没有使用评判模型。一个提供商组合在某次搜索中只要有任一提供商的前五条结果包含已知答案，该搜索就计为命中。

最佳可能选择：对于每个提供商数量，选择找到最多答案的集合，这是在看到结果后选择的。随机选择：对该规模下所有可能集合取平均。当我们在五分之四的搜索上选择组合并在其余搜索上评分时，一到四个提供商分别达到64.5%、75.5%、79.9%和82.6%。一个提供商的数据下降，是因为三个提供商并列接近榜首，所以每次划分都会选到不同的一个。

Telem将agent搜索发送给所有这些提供商，我们是每一家的客户。对于这个测试，每个提供商都以其在我们早期测试中的最佳模式运行。