返回资讯中心
外部精选
软件工程
#开发者实时流

博主追查伪装成放射学院的爬虫,用一条 Cloudflare 规则将其封禁

来源标题:Who Is Aocr.org and Why Is It Reading My Blog?

有博主发现日志中大量访问的 referrer 指向 aocr.org,调查后确认这并非美国骨科学院放射学分会的真实流量,而是一个伪装 referrer、轮换代理、带字节跳动特征的无头爬虫。他公开了自己的统计数据,并用一条 Cloudflare 规则将其拦截。

Hacker News 最新jp_sc2026/11/17 · 今天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个放射学学会开始“给我”送流量。实际上并没有。本文剖析了一个无头爬虫——它伪造 referrer、轮换代理,还带着字节跳动特征的指纹——并用一条 Cloudflare 规则把它挡住。这篇文章有点偏离常规,但记录了我对日志中一些有趣行为的一点调查。

在清理这个博客上的 404 条目时,我不断在 nginx 日志里看到同一个 referrer:https://www.aocr.org/。它关联到一些已不存在的旧 URL,命中了数十篇文章,还出现在我的分析数据里。有新网站链接到我的作品本该是件好事,但进一步调查后发现问题在于:aocr.org 是美国骨科学院放射学分会(American Osteopathic College of Radiology),而我相当确定他们不会读关于 Kerberoasting 或 NUC 实验室搭建的内容。

这篇文章讲的是我如何查清它是什么、它对一个小站点造成的代价,以及应对它的那一条 Cloudflare 规则。Ege Demir 已经就同一个 bot 发表过一篇出色的深度分析(tin.computer: the aocr.org referrer bot),我会借鉴其中的内容。下面是我从独立视角得到的自己的数据,与他们的数据高度吻合。

我当时在审计整个博客的 404,方法是将 92 天的 nginx 日志与 sitemap、我的分析数据以及每个内部链接进行交叉比对。任何公开网站上的大多数 404 都是扫描器噪音(/wp/、/cms/、/two-factor-challenge/ 之类),所以我只保留了看起来像真实页面 slug 或带有真实外部 referrer 的 404。

有两条命中格外突出:/steelcon2023-workshop/ 和 /csv-dangers-mitigations/4/,二者的“referrer”都是 aocr.org。它们是旧 URL,近期没有任何地方链接到它们,而且它们彼此之间也毫无关联。第一个是我后来迁移过的页面,第二个看起来像是网站旧版本的分页。对于一条有效链接来说这相当奇怪,而它更像是爬虫在按一份过期的 URL 列表(某个存档、旧爬取结果、某个数据集)工作的典型表现。

于是我把带有该 referrer 的所有请求都拉了出来: zcat -f /var/log/nginx/access.log*
| awk -F'"' '$4 ~ /aocr.org/' > aocr.log wc -l aocr.log awk '{print $1}' aocr.log | sort -u | wc -l awk -F'"' '{print $6}' aocr.log | sort | uniq -c awk -F'"' '{print $4}' aocr.log | sort | uniq -c 日志显示的内容 带 aocr.org referrer 的请求 1,524 首次/最后出现 2026 年 9 月 28 日 → 2026 年 11 月 7 日(我的日志从 9 月 27 日开始,所以它可能更早) 按月 9 月 35 · 10 月 273 · 11 月 1,216(几乎都集中在 11 月 5–7 日) 不同客户端 IP 368 个(全部为 IPv4) 不同 user agent 1 个 不同 referrer 1 个:恰好是 https://www.aocr.org/,从未指向具体页面 爬取的文章 72 篇不同文章,210 次页面加载 一个“浏览器”,却似乎有数百个地址 每个请求都使用同一个 user agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36 这比我的真实访客所用版本落后了好几个大版本。与此同时,IP 几乎从不重复:在加载过实际页面的 184 个地址中,161 个只加载了一个页面就再也没回来,20 个加载了两个,3 个加载了三个。这正是轮换代理池的特征:每个请求都从新的出口离开,因此任何按 IP 的阈值都不会被触发。

这些出口混合了托管服务和看起来像住宅 IP 或普通 ISP 消费者连接的地址。其中最繁忙的包括: 随机抽取 25 个出口,结果为美国 10 个、荷兰 7 个、法国 2 个、澳大利亚 2 个,台湾、罗马尼亚和印度各 1 个。EGIHosting 也出现在 tin.computer 的 ASN 分布中,与 Datacamp/CDN77、Web2Objects、M247 等并列。美国一家医学协会网站上的真实链接会带来以美国为主、使用普通连接的访客,而不是这个样子。

这是所有线索中最有用的一条,它让我想到这可能是 playwright 或无头 Chrome:在 1,524 个请求中,只有 210 个是页面加载。其余都是完整浏览器渲染页面并执行其脚本所带来的副作用: 一个只下载 HTML 的简单抓取器从不会访问 /members/api/ 或触发分析信标,但这个会,所以它驱动着一个真实的(无头)Chrome。前面提到的 tin.computer 文章更进一步,其中的会话录制显示每个页面约 28 秒的等待和滚动、800×600 的屏幕、Asia/Shanghai 时区,以及以字节跳动内部资源加载器命名的浏览器计数字段。

负载不是问题,因为我配置了缓存之类的东西,所以几天内几千个请求算不了什么。烦人的是分析数据,因为这个 bot 会触发真实的页面浏览信标,于是它被计入读者: 在一个“热门文章”和每篇文章浏览量计数器都由这些数字驱动的网站上,一天中有五分之一的浏览量是假的会扭曲排名。它们还会消耗分析 API 的配额。

同一个 user agent 还在我的日志中出现了大约 2,800 次,且没有 referrer。我无法证明这些是同一个爬虫,但 user-agent 匹配、时间点和缺少 client hints 使这很可能。如果确实如此,那么 referrer 只是容易看到的那一部分。

单凭我的数据最多只能得出“一个位于轮换代理之后、带有固定伪造 referrer 的自动化浏览器”。归因来自 Ege Demir 的研究,该研究发现: 他们的结论和我的结论都很谨慎:指纹与字节跳动的爬虫相符,但由谁运营并未得到证实。它可能是字节跳动的某个团队,也可能是使用其工具的客户。已向字节跳动请求置评。

为什么偏偏是 aocr.org?我怀疑它是在某个时候被随机选中的。一些 bot 过滤器不信任没有 referrer 的请求,而一个真实、有声誉的域名会让流量看起来像自然流量,从而骗过分析系统。

这也不是经典的 referrer spam——那种做法是把垃圾邮件发送者自己的域名放进请求头,好让你去访问它。这家放射学学会几乎肯定没有参与其中。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →