
测试显示:同一AI问题问两次,64%的回答推荐不同品牌
来源标题:Ask AI the same question twice and 64% of answers name different brands
对210个购买类问题在ChatGPT、Gemini、Google AI Overviews和AI Mode上重复提问两次,64%的回答出现了不同的品牌推荐。研究还发现,品牌被提及的频率主要取决于AI读取的页面中有多少提到了该品牌,单次查询难以反映真实曝光度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
昨天我们发了一篇文章,说AI的回答每天都会变。Hacker News和Reddit上的读者提了不少好问题:
所以今天我们逐一做了测试。我们把同样的210个问题又跑了两遍,两遍同时发出。然后抓取并阅读了每个回答引用的页面,想弄清是什么决定了哪些品牌会被点名。
如果你在卖东西,只查一次「ChatGPT会推荐我们吗?」意义很有限。真正重要的是:在大量回答中,你被点名的频率有多高。而这主要取决于AI读到的页面里有多少提到了你。
查一次说明不了什么。看看你真正被点名的频率有多高。
输入你的网站。我们会推算你的买家会问哪些问题,在ChatGPT、Gemini、AI Overviews和AI Mode上逐一提问,然后展示你被点名的频率、被点名的又是谁,以及这些回答读了哪些页面。
免费。无需账号,无需银行卡。大约10分钟出结果。
我们每天已经在ChatGPT、Gemini、Google AI Overviews和Google AI Mode上,针对21个品类提出210个购买类问题。11月19日,我们加跑了A、B两轮,同时发出。
A、B两轮还额外包含42个非常具体的问题(详见下文)。这样我们就得到了同一引擎上同一个问题在五个时间间隔下的两个回答:无间隔、12小时、17小时、24小时和36小时。
每个回答都来自全新会话,无账号、无历史记录,来源为美国,通过DataForSEO采集。95%区间重采样的是问题,而不是回答,因此同一个问题的四个回答绝不会被算作四个独立结果。
一处更正。在第二天的文章里,我们说84%的回答过夜就变了。那个数字来自我们应用的自动品牌匹配,它会把一些并非推荐的名字也算进去。按研究公布的品牌列表(brands.json)重新统计,结果是75%,品牌重合度为68%,而非61%。方向一致,数字更小。我们已在那篇文章中加了说明。本文所有数字都使用公布的列表和脚本。
四个引擎上都是同样的210个问题,每行约820对回答。细带是95%区间(重采样问题)。
同一时刻把同一个问题问两遍,典型回答仍会换掉大约六分之一的品牌。隔一天再问,换得稍多一点。这部分额外变化是真实存在的(品牌重合度相差5到10个百分点,p < 0.001,对比其他所有间隔),但幅度很小。相隔一天的两个回答之间的差异,约80%在同时问两遍时就已经存在了。
日期也不重要。同一天相隔17小时的两轮,并不比不同天相隔12小时的两轮更相似。
我们在每个引擎上把每个问题问了五遍。典型回答点名4.9个品牌。但在五个回答中,一共出现了7.5个不同品牌,只有2.9个是每次都出现的。
在一个引擎上某个问题被点名的所有品牌中:
位置很重要。同一时刻再问一次时,品牌被再次点名的概率:
所以对大多数品牌来说,「我们被推荐了吗?」没有是或否的答案。一个在5个回答中被点名3次的品牌,在每5次检查中就有2次缺席。只查一次,你可能会以为自己入选了,而实际上通常是落选的,或者反过来。
为什么同一个问题相隔一分钟会得到不同品牌?ChatGPT、Gemini和Google的AI都会在回答前搜索网页,每个回答都会列出它用到的页面。于是我们抓取了这些页面。在被引用的11,897个页面中,我们能读取9,077个;其余要么屏蔽了我们,要么不是网页。
对于每个引擎上的每个问题,我们取五轮中任意一轮引用过的所有页面,统计其中有多少提到了每个品牌。然后与品牌被点名的频率作对比。
五个回答中点名该品牌的比例。每个品牌在每个问题、每个引擎上只计一次。页面:该问题在五轮中任意一轮被引用的所有页面,共读取9,077个,不含品牌自己的网站。
提到你的页面越多,你被点名的频率就越高。跃升出现在大约一半的位置:出现在不到一半页面上的品牌,被点名的回答比例约为五分之一或更低。
这不就是大品牌出现在更多页面上、也被点名更多吗?我们通过品牌自身对比做了检验。对于出现在不止一个问题或引擎上的642个品牌,同一个品牌在更多页面提到它时,有30%的回答点名了它;在较少页面提到它时,这一比例是14%(相差14到17个百分点,95%区间)。身为大品牌有帮助。出现在页面上本身就单独有帮助。
每个引擎上都成立。对于出现在四分之三页面上的品牌:ChatGPT有88%的时间点名它们,Gemini为74%,AI Overviews为65%,AI Mode为59%。
这也解释了为什么同一时刻的回答会变。每一轮都会挑到不同的少数几个页面。当两轮引用的页面完全相同时,79%的回答点名了完全相同的品牌。当两轮没有共同页面时,这一比例只有5%。
汇总所有轮次配对:4,112对回答。页面按URL匹配,忽略跟踪参数。
模型自身的措辞也有影响:即便页面完全相同,仍有五分之一的回答改变了品牌列表。但一旦页面变了,几乎每个回答都会变。
这与我们的第一项研究一致:当时90%被推荐的品牌,都出现在引擎刚读过的某份「最佳X」榜单上。出现在大多数页面上的品牌,无论引擎挑到哪几个页面都会出现。只出现在少数页面上的品牌,只有当那少数几个页面被挑中时才会出现。
你的免费报告会列出AI为你的买家问题读了哪些页面,以及其中哪些页面漏掉了你。那些就是你需要争取上榜的页面。
免费。无需账号,无需银行卡。大约10分钟出结果。
几位读者说,更具体的问题会得到稳定的答案。于是我们写了42个这样的问题,每个品类两个。例如:
我们把每个问题在同一时刻问了两遍,并与同一轮次中的宽泛问题作对比。
具体问题的回答点名的品牌更少,而短名单在一个名字变化时变动更大。所以我们也对比了长度相同的回答。在4到6个品牌的情况下,具体问题保留了57%的品牌,而宽泛问题为75%。具体问题在每个引擎上都更不稳定。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。