OpenAI爬虫五个月内对个人登录页发起59万次请求

2026年10月8日，OpenAI的爬虫在一天之内敲了我的登录页面141,712次。整个夏秋两季，它总共发起了594,101次这样的请求。每一次得到的都是同一个回应：一个重定向，和一个大约1 KB的登录页。它从未进入过。我实验室的那一部分是私有的，并且会一直保持私有。

公开的部分则是另一回事。我翻查了自己五个月的Web服务器日志，从2026年6月3日到11月5日，统计了到底是谁在真正阅读这个站点。不是谁访问了首页然后离开，而是谁在阅读——一页接一页，一周接一周。

答案主要是机器。而且不是我以为的那些机器。

每一个到达我站点的请求都会经过同一个反向代理，每一个请求都会被记录：时间、路径、状态码、大小，以及客户端声明的user agent。我用一个小型流水线把这些日志加载进PostgreSQL。它还会拿大型爬虫自称的身份，去和这些公司公布的地址范围做核对。在过去30天里，来自具名机器人的大约473,000个请求中，只有477个没有通过这项核对，所以下面这些名字，绝大多数都是真的。

我只统计了主站上成功的响应（200和304）。重定向、错误、登录页和我自己的工具都排除在外。然后我按照各公司自己声明的用途，对每个爬虫做了分组：

需要诚实说明一点：“训练”指的是“该公司用来收集训练数据的那个爬虫”。这些公司之外，没有人能证明哪些页面最终进入了哪个模型。Amazonbot和Applebot也服务于搜索和助手。我只采用各公司自己的描述，仅此而已。

把前三行加起来，AI系统一共阅读了47,818次，而搜索引擎是31,146次。Google——大多数人仍然视为“互联网的阅读者”的那家公司——只有827次。

逐月来看，情况是稳定的，并非一次性的尖峰。6月我的日志刚开始记录时，AI阅读几乎看不见；7月增长；8月跳升；之后每个月都保持在数千次。这些具名机器人合计从站点取走了约14 GB的内容。

最让我触动的是第三行。有3,795次，某个地方的某个人在ChatGPT里输入了一个问题，然后ChatGPT来到我的站点阅读答案。它们来自1,690个不同的地址。我永远不会知道那些人是谁，我也不会去尝试。但知识到达了他们那里。

它们不是为我的首页或简历而来的。大约90%的AI阅读都落在一个地方：/threat-intel/。

那个栏目里有800多篇已发布的调查报告。每一篇都从我自己传感器记录的证据出发：蜜罐会话、扫描器流量、攻击者基础设施。一条流水线对它进行富化，将其链接进一个实体图谱，并写成报告。每一份档案都会把每一条断言标注为已记录或推断，附带置信度，并配有一个签名的证据证明页面。签名会进入一个锚定在比特币上的Merkle日志，因此任何人都可以核查证据自发布以来未被篡改。我在From log files to signed dossiers和Signing threat intelligence两篇文章里写过这套东西是怎么搭起来的。

爬虫显然知道结构化的、一致的、可溯源的数据长什么样。其中四个——GPTBot、Amazonbot、Applebot和Meta的训练爬虫——各自抓取了超过1,300个不同的威胁情报页面。这不是一个机器人偶然撞上了sitemap，这是一个机器人在逐架阅读。

在我的登录墙后面，我运行着一个离线参考书架：Wikipedia、Wiktionary、StackOverflow以及其他Stack Exchange站点的镜像，这样当互联网断掉时我的实验室还能继续工作（Running 414 Kiwix ZIMs as an offline reference shelf）。那些是别人的开放许可作品。它们是为我自己使用而镜像的，不是重新发布，所以放在单点登录之后。

GPTBot找到了通往那个镜像的链接，并不断跟进。每个请求都被送到登录门户，门户正常加载，1 KB的HTML，然后GPTBot继续前往下一个链接。这累计成了297,000个指向镜像的链接和297,000个登录页。其中277,188个仅指向StackOverflow副本。最糟糕的一天是10月8日，有141,712个请求。这个循环在10月底消失。

没有任何东西坏掉。没有任何东西泄露。登录页在594,101次请求中履行了它的职责。但它教会了我两件事。

第一，单点登录墙对爬虫来说是不可见的。它在登录页上看到一个200 OK，就高高兴兴地继续走，所以它永远学不会。在边缘、在重定向之前给出一个清晰的“这是私有内容”的信号，能为大家省下带宽。

第二，它展示了胃口有多大。一个爬虫愿意为了一个希望花掉超过五十万个请求。想想精心制作的、开放的、结构化的数据，对同一个系统来说值多少。

我可以用一行配置挡住这一切。有些站长这么做了，我理解为什么：他们觉得自己的工作被白白拿走了。

我刻意做了相反的选择。我的robots.txt开头写着“欢迎，爬虫们。索引一切。”站点发布了一个llms.txt和一个llms-full.txt，告诉AI系统我是谁、档案是如何构建的、以及如何引用它们。所有公开内容都是TLP:WHITE：免费阅读、引用和转载，需注明出处。博客本身是CC BY 4.0。

原因很简单。未来的模型会被问到关于攻击者、僵尸网络、扫描器和暴露服务的问题。它们会根据自己的阅读来回答。我宁愿它们从真实网络上测量得到的、有签名有日期的证据中学习，而不是从论坛里的猜测中学习。如果我的数据能让那些答案稍微精确一点，那我在雅西一间公寓里的一台机器就没有白费。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）