《纽约时报》起诉Brave：称其抓取300亿网页并出售给AI公司

《纽约时报》称，Brave抓取了300亿个网页，并将其出售给AI公司。你的网站很可能就在这个索引里。

你可能从未直接使用过Brave Search。但你向其提问的AI可能用过，而且可能在那里找到了你的网站。11月2日，《纽约时报》起诉了Brave——这家公司旗下拥有Brave浏览器和Brave Search。《纽约时报》称，Brave“在不表明自身身份、也未向网站所有者提供任何阻止其爬虫机制的情况下”复制了超过300亿个网页，随后将这些内容出售给AI公司。Brave尚未作出回应，所以目前这些还只是指控。但为什么你无法在屏蔽Brave爬虫的同时又不屏蔽Google呢？Brave自己在帮助页面上就解释了这一点。

Brave通过一个名为Brave Search API的产品，向AI公司出售其搜索索引的访问权限。当AI助手需要获取网络上的最新信息时，它并不总是亲自去读取网页，而是可以付费搜索别人的索引。Brave的“关于”页面称，该API“被AI领域一些最知名的公司使用，包括Cohere、Mistral、Perplexity和You.com”。其AI页面则表示，该索引收录了“超过300亿个页面，每天新增索引数百万个页面”。

《纽约时报》的诉状开篇点名了五家它称Brave为其供货的AI公司：Anthropic、Perplexity、Mistral、xAI和Cohere。这些公司均未被起诉。Claude的情况最为模糊，因为证据已经过时。诉状援引了2023年Brave一篇关于Anthropic训练Claude 2的帖子。2025年3月，Anthropic将Brave Search加入其分包商名单——即其使用的外部公司名单，TechCrunch对此进行了报道。同一周，撰写广受关注的AI工具博客的开发者Simon Willison让Claude搜索鹈鹕的相关事实，结果Claude引用的10条结果与在Brave上进行同样搜索的结果完全一致。Claude目前是否仍在使用Brave，我无法确认。

网站通过一个名为robots.txt的小文件来决定哪些爬虫可以读取它们，而这一机制之所以有效，仅仅是因为爬虫有名字。OpenAI和Anthropic各自公布了其爬虫的名称，因此你可以允许一家公司的爬虫进入，同时拒另一家于门外。

Brave的帮助页面——即本文开头提到的那个——称其爬虫“不对外宣告差异化的用户代理”。通俗地说，Brave的爬虫不戴名牌，而Brave给出了理由：有些网站只允许Google进入，其他一律拒绝，因此一个带着Brave名字的爬虫会被拒之门外。Brave表示它转而遵循Google的规则：凡是Googlebot不被允许读取的内容，Brave也不会读取。

所以你无法在允许Google进入的同时将Brave拒之门外。你要么两者都放行，要么两者都拒绝。要想从Brave的索引中移除，同一个页面会指引你使用noindex标签，而这也会告诉Google将该页面移除。《纽约时报》将此称为Brave“拒绝公布其网络爬虫机器人的名称”。

11月3日在Brave上搜索site:nohacks.co，结果第一页显示了我的16个页面，其中13篇是文章。

Brave的结果甚至显示了我当天早些时候更换过的首页描述，可见Brave提供的是存储的副本，而非对我网站的实时查看。我的robots.txt列出了13个AI爬虫，从GPTBot到Bytespider，并屏蔽了其中两个：Meta的和字节跳动的。我找不到可以为Brave添加的任何一行。要屏蔽一个不存在的名字，实在太难了。

检查你自己的网站大约只需30秒：访问search.brave.com，输入site:加上你的域名。所有出现的结果都在Brave所出售的索引中。

身处搜索引擎之中，是每个网站都心知肚明的交易。有人搜索，看到你的页面，点击，然后落到你的网站上。Brave Search的普通结果就是这样运作的，不过Brave也加入了自己的AI回答功能，名为Ask Brave，《纽约时报》也正就此起诉。

出售索引则是另一回事。诉状引用Brave对其中一部分——“LLM Context”——的描述，称其提供的是“以无需进一步抓取即可满足LLM需求的形态和长度交付的已提取页面片段和来源元数据”。于是AI公司拿到了你的页面，而且已经被切分好，并据此撰写答案。这个答案是否会把用户引回你的网站，由AI公司决定。这不由你决定，也不是Brave在出售的东西。这正是让我不安的地方。

《纽约时报》主张版权侵权、绕过其付费墙等诉求，而《每日新闻》、《芝加哥论坛报》和《奥兰多哨兵报》同日另行提起了诉讼。我撰写本文时，Brave尚未对任何一起诉讼作出回应。不过它此前曾为自己的立场辩护过：当News Corp向其发送停止侵权函时，Brave抢先起诉，称自己只是在索引网络内容，而这是“所有搜索引擎运营商为了生存都必须做的”；据Semafor报道，2026年7月News Corp反诉，称Brave隐藏其爬虫，使发布者无法检测或屏蔽它们。针对《纽约时报》页面的裁决不会自动适用于其他任何人，但它将对该索引中的每个网站产生重大影响——而那很可能也包括你的网站。所以我会密切关注这件事。

本文最初发表于No Hacks。