开发者推出工具，可检测14种AI爬虫对网站的访问权限

输入一个 URL。检查器会读取该网站的 robots.txt，用 14 个 AI 爬虫的 user agent 分别请求页面，并把每个响应与普通浏览器请求进行对比。你会得到每个爬虫的判定结果，以及需要修改的那一行。

robots.txt 规定爬虫可以抓取什么。 你的 CDN 决定它实际能拿到什么。

启用 JavaScript 以运行检查。下面的方法、爬虫列表和限制说明无需 JavaScript 即可阅读。

仅支持公开的 http(s) 页面。一次检查会向该站点发送约 18 个请求，其中 14 个仅请求响应头，通常需要几秒钟。

允许：robots.txt 允许该 URL，且爬虫的 user agent 能获取到页面。

部分允许：爬虫能抓取页面，但存在某些限制使用的因素：noindex、nosnippet、速率限制、不启用 JavaScript 时几乎没有文本内容，或者某条 robots.txt 规则是用户发起的代理不应遵循的。

被阻止：robots.txt 禁止该 URL、robots.txt 无法访问，或者服务器在向浏览器正常提供服务的同时拒绝该 user agent。

未知：我们的请求无法得出结论，例如网站拒绝来自我们服务器的所有请求，或验证爬虫 IP 地址。

Token、用途和 user agent 均已根据各厂商文档于 2026 年 11 月 6 日核对。

robots.txt 只是向爬虫发出的请求；你的 CDN、防火墙或托管服务仍可拒绝该请求。Cloudflare 的 AI 爬虫控制、托管机器人规则以及某些托管服务的“bad bot”过滤器会按 user agent 进行拦截。报告中会显示每个 user agent 收到的状态码，并与浏览器的状态码并列展示。

这是商业选择。厂商如今已对任务做了区分：GPTBot 与 OAI-SearchBot、ClaudeBot 与 Claude-SearchBot、Google-Extended 与 Googlebot。Google 表示 Google-Extended 不影响页面被纳入 Google 搜索，OpenAI 则将 GPTBot 和 OAI-SearchBot 列为独立设置。在拆分规则之前，请先查看上面链接的各厂商页面。

本列表中没有主流厂商将 llms.txt 记录为抓取或排名输入。检查器报告它是因为某些工具和 agent 会读取它；参见“你需要 llms.txt 吗”。

不需要。检查按请求运行，报告仅返回给你的浏览器；检查器不保留 URL 或结果的数据库。托管服务的访问日志可能会像记录任何页面访问一样记录该请求。