
顾客因搜索体验差,自行重写Alamo Drafthouse点餐搜索
来源标题:I fixed Alamo Drafthouse's search
一名Alamo Drafthouse顾客因影院点餐App搜索不准(搜“汉堡”却显示玉米片),自行重建并改进了搜索功能。他提出先利用历史查询和点击数据来优化结果,认为这对小型菜单和集中查询的网站最有效。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在精品连锁影院Alamo Drafthouse,你可以用他们的二维码App点餐。你搜索菜单项(汉堡、爆米花、M&Ms),然后提交订单。 搜索功能实在差强人意。输入“burger”,出来的却是玉米片。相当让人摸不着头脑。 作为一个恼火但忠诚的顾客,我重建并改进了他们的搜索。 我先带大家看看Alamo的搜索为什么会出问题,然后着手修复它。你可以在这里看到原始搜索,在这里看到我更新后的实现。 今天我们聚焦“信号”。思路是存储历史查询和点击,聚合起来学习哪些内容被频繁点击,再把它作为搜索时的数据集暴露出来,用来提升搜索质量。 为什么先做这个?Alamo的语料规模小、用户流量尚可,而且我推测大部分搜索流量集中在少数几个查询上(也就是长尾很薄、头部很肥)。这种情况下,从高频重复查询中学习是优先级很高的干预手段。而且对大多数团队来说,这比微调reranker/embedding去解决同样的问题要简单得多。 令人困惑的是,Alamo的网站做得像Apple的Spotlight或Microsoft的开始菜单搜索。那是导航式搜索。Alamo把菜单当成一列文件,用搜索词去过滤。 具体来说,随着你输入,结果会缩小到只匹配以你搜索串开头的条目。输入“bur”,任何包含以“bur”开头的词的菜单项(比如burger)都会留在结果集里。就像你在文件系统搜索里输入“bur”,过滤出文本以“bur*”开头的条目一样。 如你所料,这种前缀搜索策略可能带出大量误报。基本上没有排序。它只是根据文本前缀匹配来包含/排除菜单项。 但更扎眼的是:有一个隐蔽的文本属性在加剧噪音:customizations(自定义项) 搜索“bur”会匹配到Chips & Queso里“burger sauce”这个自定义项。这听起来并不开胃,但至少解释了我们看到的许多误报结果。 今天我们不直接解决“该搜什么文本”的问题。我们换个间接思路:搜索以用户搜索词开头的历史查询。如果用户搜“bur”,而过去有人搜过“burger”,我们就把“burger”被点击的结果排得更靠前。 因为全靠前缀匹配,许多合理的搜索会返回空结果。搜hamburger,得到零结果: kids pizza和kids meal也一样。有些查询能出结果,却漏掉许多相关项,比如cheeseburger。 同样,我们不直接通过改进语料检索来解决。我们要做的是:当用户输入某个热门查询的前缀时(比如hamb -> hamburger),我们注意到这一点;然后通过embedding发现hamburger和burger之间的语义相似性,用burger的点击流数据来决定hamburger该展示什么。 正如我提到的,Alamo最该做的是利用历史搜索流量来改进搜索。不是训练模型,而是建立一个历史查询到商品点击遥测的语料库。 显然,我拿不到Alamo的搜索遥测数据。我不知道什么被点击、什么没被点击。但我有一个agent和puppeteer可以播种搜索流量。 郑重声明——agent流量不是人类流量。人类教给我们的东西和一个agent在网站上点击所体现的不同。如果你是Alamo Drafthouse的员工读到这篇文章,我不会(只)照我接下来要做的去做。因为你们有真实的人类流量可用。 声明说完了,我用了我最喜欢的编码agent(OpenCode)加上一个驱动浏览器的MCP(Puppeteer)。把用例交给agent,我在Alamo Drafthouse的搜索界面上合成流量。 具体来说,我给一个编排agent一个或多个用例(比如“顾客想要汉堡和啤酒”)。编排agent把任务分派给菜单搜索子agent,每个子agent对用例做变体。这些子agent驱动无头浏览器,检查结果并点击相关结果。我不用LLM当裁判,而是用LLM当用户。 后端用一个Postgres数据库跟踪用户遥测来记录点击,具体追踪: 出现的一个问题:缺乏随机性。如果子agent被告知搜索汉堡,它总是点“double cheeseburger”。这不太有用。作为一个权宜之计,我让编排agent指示子agent点击第N个最相关的条目,而不是绝对最相关的。N是从一段Python代码里随机取的值(1-3)。 数据库播种足够之后,编排agent变得更自主了。我问编排agent“根据语料,搜索流量里哪些覆盖得不够好?”。它会选出缺失的用例并迭代。递归自我改进! 最终,通过自动和手动流量生成的结合,我有了一组相当不错的、包含2300个搜索会话的种子数据。 我今天的目标不是彻底改造Alamo的体验。我们要构建查询级别的智能,以缓解问题并逐步改进排序。 比如我们注意到一个常见用例:搜索一个主题(burger),却先看到开胃菜。那么一个容易摘的果子就是:根据该查询下被频繁点击的商品,展示最佳类目/子类目。 我写了一个脚本,聚合SERP和点击,计算某个查询下被点击最多的category / sub_category。脚本从原始SERP、曝光和点击在Postgres里计算出一张queries表。计算出的queries表保存查询级别的元数据,对改进排序有用。目前我把它存在Postgres里,但用全文搜索引擎或Redis缓存是否更好,还有讨论空间。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。