
博主追查伪装成放射学院的爬虫,用一条 Cloudflare 规则将其封禁
来源标题:Who Is Aocr.org and Why Is It Reading My Blog?
有博主发现日志中大量访问的 referrer 指向 aocr.org,调查后确认这并非美国骨科学院放射学分会的真实流量,而是一个伪装 referrer、轮换代理、带字节跳动特征的无头爬虫。他公开了自己的统计数据,并用一条 Cloudflare 规则将其拦截。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个放射学学会开始“给我”送流量。实际上并没有。本文剖析了一个无头爬虫——它伪造 referrer、轮换代理,还带着字节跳动特征的指纹——并用一条 Cloudflare 规则把它挡住。这篇文章有点偏离常规,但记录了我对日志中一些有趣行为的一点调查。
在清理这个博客上的 404 条目时,我不断在 nginx 日志里看到同一个 referrer:https://www.aocr.org/。它关联到一些已不存在的旧 URL,命中了数十篇文章,还出现在我的分析数据里。有新网站链接到我的作品本该是件好事,但进一步调查后发现问题在于:aocr.org 是美国骨科学院放射学分会(American Osteopathic College of Radiology),而我相当确定他们不会读关于 Kerberoasting 或 NUC 实验室搭建的内容。
这篇文章讲的是我如何查清它是什么、它对一个小站点造成的代价,以及应对它的那一条 Cloudflare 规则。Ege Demir 已经就同一个 bot 发表过一篇出色的深度分析(tin.computer: the aocr.org referrer bot),我会借鉴其中的内容。下面是我从独立视角得到的自己的数据,与他们的数据高度吻合。
我当时在审计整个博客的 404,方法是将 92 天的 nginx 日志与 sitemap、我的分析数据以及每个内部链接进行交叉比对。任何公开网站上的大多数 404 都是扫描器噪音(/wp/、/cms/、/two-factor-challenge/ 之类),所以我只保留了看起来像真实页面 slug 或带有真实外部 referrer 的 404。
有两条命中格外突出:/steelcon2023-workshop/ 和 /csv-dangers-mitigations/4/,二者的“referrer”都是 aocr.org。它们是旧 URL,近期没有任何地方链接到它们,而且它们彼此之间也毫无关联。第一个是我后来迁移过的页面,第二个看起来像是网站旧版本的分页。对于一条有效链接来说这相当奇怪,而它更像是爬虫在按一份过期的 URL 列表(某个存档、旧爬取结果、某个数据集)工作的典型表现。
于是我把带有该 referrer 的所有请求都拉了出来:
zcat -f /var/log/nginx/access.log*
| awk -F'"' '$4 ~ /aocr.org/' > aocr.log
wc -l aocr.log
awk '{print $1}' aocr.log | sort -u | wc -l
awk -F'"' '{print $6}' aocr.log | sort | uniq -c
awk -F'"' '{print $4}' aocr.log | sort | uniq -c
日志显示的内容
带 aocr.org referrer 的请求
1,524
首次/最后出现
2026 年 9 月 28 日 → 2026 年 11 月 7 日(我的日志从 9 月 27 日开始,所以它可能更早)
按月
9 月 35 · 10 月 273 · 11 月 1,216(几乎都集中在 11 月 5–7 日)
不同客户端 IP
368 个(全部为 IPv4)
不同 user agent
1 个
不同 referrer
1 个:恰好是 https://www.aocr.org/,从未指向具体页面
爬取的文章
72 篇不同文章,210 次页面加载
一个“浏览器”,却似乎有数百个地址
每个请求都使用同一个 user agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36
这比我的真实访客所用版本落后了好几个大版本。与此同时,IP 几乎从不重复:在加载过实际页面的 184 个地址中,161 个只加载了一个页面就再也没回来,20 个加载了两个,3 个加载了三个。这正是轮换代理池的特征:每个请求都从新的出口离开,因此任何按 IP 的阈值都不会被触发。
这些出口混合了托管服务和看起来像住宅 IP 或普通 ISP 消费者连接的地址。其中最繁忙的包括: 随机抽取 25 个出口,结果为美国 10 个、荷兰 7 个、法国 2 个、澳大利亚 2 个,台湾、罗马尼亚和印度各 1 个。EGIHosting 也出现在 tin.computer 的 ASN 分布中,与 Datacamp/CDN77、Web2Objects、M247 等并列。美国一家医学协会网站上的真实链接会带来以美国为主、使用普通连接的访客,而不是这个样子。
这是所有线索中最有用的一条,它让我想到这可能是 playwright 或无头 Chrome:在 1,524 个请求中,只有 210 个是页面加载。其余都是完整浏览器渲染页面并执行其脚本所带来的副作用: 一个只下载 HTML 的简单抓取器从不会访问 /members/api/ 或触发分析信标,但这个会,所以它驱动着一个真实的(无头)Chrome。前面提到的 tin.computer 文章更进一步,其中的会话录制显示每个页面约 28 秒的等待和滚动、800×600 的屏幕、Asia/Shanghai 时区,以及以字节跳动内部资源加载器命名的浏览器计数字段。
负载不是问题,因为我配置了缓存之类的东西,所以几天内几千个请求算不了什么。烦人的是分析数据,因为这个 bot 会触发真实的页面浏览信标,于是它被计入读者: 在一个“热门文章”和每篇文章浏览量计数器都由这些数字驱动的网站上,一天中有五分之一的浏览量是假的会扭曲排名。它们还会消耗分析 API 的配额。
同一个 user agent 还在我的日志中出现了大约 2,800 次,且没有 referrer。我无法证明这些是同一个爬虫,但 user-agent 匹配、时间点和缺少 client hints 使这很可能。如果确实如此,那么 referrer 只是容易看到的那一部分。
单凭我的数据最多只能得出“一个位于轮换代理之后、带有固定伪造 referrer 的自动化浏览器”。归因来自 Ege Demir 的研究,该研究发现: 他们的结论和我的结论都很谨慎:指纹与字节跳动的爬虫相符,但由谁运营并未得到证实。它可能是字节跳动的某个团队,也可能是使用其工具的客户。已向字节跳动请求置评。
为什么偏偏是 aocr.org?我怀疑它是在某个时候被随机选中的。一些 bot 过滤器不信任没有 referrer 的请求,而一个真实、有声誉的域名会让流量看起来像自然流量,从而骗过分析系统。
这也不是经典的 referrer spam——那种做法是把垃圾邮件发送者自己的域名放进请求头,好让你去访问它。这家放射学学会几乎肯定没有参与其中。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。