
研究称合成流量比LLM评判更适合搜索评估
来源标题:Prefer synthetic traffic over LLM as a judge
有观点主张放弃将LLM作为搜索评估的裁判,改用智能体直接驱动搜索界面来利用LLM反馈。作者认为LLM-as-a-judge只是把LLM塞进传统评估流程,沿用NDCG等指标,未重新思考搜索质量。其核心问题在于传统排序评估假设排序可与界面分离,导致排序指标的提升常常无法转化为A/B测试的成功。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
把 LLM 当作评审员(LLM-as-a-judge)是将 LLM 接入传统搜索评估的一种做法,评估上的麻烦一个没少,只是速度更快了。
LLM 评审员从人类手中接管搜索标注工作:针对特定查询,把结果标注为相关或不相关。之后一切照旧,继续使用 NDCG 等传统搜索指标。这感觉像是一种折中方案——就像 GitHub Copilot 对 AI 编程所做的那样:把 AI 附加到现有工作流上,而不是彻底重新思考它。
关键在于,我们忽视了用户界面对搜索质量的根本重要性。正如后文将要讨论的,排序评估假设我们可以把排序与 UI 干净地分开,这导致结果总是令人失望:排序指标上的提升无法转化为 A/B 测试的成功。
我要讨论一种不同的思路:不再把 LLM 当作评审员,而是让智能体直接操作搜索 UI。这并不是要取代人类交互,而是更好地利用 LLM 反馈的方式。
典型的搜索评估流程会把一些结果标注为相关或不相关,形成判定列表。例如对于查询 shoes,你有:
我们用人类、LLM、点击数据等来做标注。用 LLM 时,我们按照某种「相关」的标准来标注结果。当然,用 LLM 评审员时,我们会采用众多方法之一来评估结果。
不管怎样,有了标注之后,我们的检索算法会为 shoes 取回一些搜索结果:
我们用那些老面孔(NDCG 等)来评估这组排序结果。我们看到靠前位置有一个 grade=1,靠后位置有一个 grade=5。看到 NDCG 偏低,我们就把这当作垃圾搜索结果丢弃了。
但搜索 UI 千差万别。有 Best Buy 那样的网格布局:
也有 Kroger 那样的纵向移动端列表,首屏只有 1-2 个条目:
还有 Reddit 那样媒体类型混杂的奇怪组合:
把一个 grade=1 的结果放在网格的首位,不会把体验彻底毁掉;但把不相关的结果放在纵向搜索 UI 的首位,就会造成严重问题。这就是为什么通常的答案是「选一个能近似 UI 的评估指标」。像 Precision 这样的指标不考虑位置,也许适合网格布局?而对于可滚动的搜索 UI,我们可能会选 NDCG,因为它确实会赋予顶部位置更高的重要性。
无论你选哪个指标,都像是在假设 UI 是真空中的球形鸡。NDCG 似乎成了「某种带排序的 UI」的替身。这是一个用漂亮理论去近似混乱现实的做法。
我做过搜索排序的工作,感觉我们一直在绕开这个问题。搜索 UI 只会越来越难以预测。它们不是漂亮的球形鸡,而是一群形状奇异的鸡和其他有趣的鸟。
对于离线搜索评估,我越来越多地采用另一种方法。最近,我为了好玩重新实现了电影院连锁 Alamo Drafthouse 的菜单搜索。我没有用 LLM 当评审员,甚至根本不做判定,而是让一个编程智能体模拟用户流量。我在自己的笔记本上跑一个有智能体参与的 A/B 测试。
在客户项目上,我经常用 vibe coding 的方式复刻客户搜索 UI 的仿制品。我尽可能还原排序逻辑,用传统搜索评估(判定)来改进它,并让 LLM 对结果打分来扩展判定。
但有了应用和智能体,我可以直接让智能体操作 UI。既然让模拟用户与真实应用交互已经变得如此简单,为什么还要通过理论模型来衡量搜索效果呢?
为此,我用 vibe coding 出的应用搭建了一个追踪数据库。我追踪搜索会话、获得曝光的结果,并记录被点击的内容。我用衡量人类行为的同一套工具来评估智能体的搜索使用情况。
如上图所示,这涉及一个外层编排器扫描追踪数据库,寻找尚未探索过的用例。编排器把这些用例分配给内层子智能体,由后者通过 Playwright 驱动浏览器——搜索、滚动,并点击看起来有希望的结果。
外层编排器就像一个长时程智能体。说白了,就是一个 cron 任务,用一段 prompt 执行我的编程智能体(OpenCode)。OpenCode 醒来,收到下面的 prompt。开始之前,它先扫描环境。通过仓库的 AGENTS.md 和其他文档,它发现自己身处一个带有搜索 UI 和追踪数据库的仓库中。根据 prompt 的指示,它与追踪数据库交互,准备新的待模拟用例,把它们委派给子智能体,等待它们完成,然后做清理。
你正在编排 menu-searcher 子智能体,为运行在 127.0.0.1:8000 的应用生成合成流量。围绕给定主题生成搜索场景,把它们分配给 menu-searcher 子智能体,让它们用 Playwright 生成合成流量和点击。生成约 10 个子智能体,让它们尝试不同的场景。
完成后要做什么
完成后,查询数据库,按搜索查询展示每个查询下点击最多的条目,排序顺序为:先按搜索查询频次,再按查询字符串,最后按点击最多的文档(doc_id 和产品名)。
完成后,清理掉启动的 puppeteer chrome 窗口。
内层 menu-searcher 子智能体过着另一种生活。它启动、发现自己的环境,发现自己可以使用无头 Puppeteer MCP——这是在仓库的 opencode.json 中配置的:
"$schema": "https://opencode.ai/config.json
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。