博主用旧浏览器UA拦截爬虫,误伤正常访客
来源标题:Everything is part of your interface, mkdir edition
一位博主为应对2025年初大量伪装成旧版Chrome的爬虫(部分用于LLM训练数据),尝试屏蔽所有此类User-Agent,导致使用旧版浏览器的正常访客也被拦截。博主表示Inoreader的订阅抓取器未被屏蔽,不清楚为何其会显示该页面。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
你看到这个页面,多半是因为你访问了我博客(Wandering Thoughts)或它所属的 wiki 项目 CSpace 的某个部分。不巧的是,你用的浏览器版本被我的反爬虫措施判定为可疑,最常见的原因是版本太旧(这种情况大多出现在 Chrome 上)。遗憾的是,2025 年初出现了一波高频率爬虫泛滥(据说部分是为了收集 LLM 训练数据),它们使用各种老旧的浏览器 User-Agent,尤其是 Chrome 的 User-Agent。为了减轻 Wandering Thoughts 的负载,我正在试验(尝试)把它们全部拦截,而你正好撞上了。如果这是误判、你用的确实是所选浏览器的最新版本,可以通过我在大学的当前单位联系我(你应该能从中推断出邮箱地址)。方便的话,请告诉我你用的浏览器等信息,最好附上完整的 User-Agent 字符串。我并没有拦截 Inoreader 的 feed 抓取器,也不认为它太旧,它一直正常从我这里抓取 feed。我不知道为什么 Inoreader 会给你显示这个页面。可能是它们会周期性地用老旧的浏览器 HTTP User-Agent(或者真正的老浏览器)去抓取 feed 或页面,然后把那次抓取的结果(也就是这个页面)当成应该展示给用户的内容,而不是用它们正常的聚合 feed 抓取器的结果。在如今这是个严重的错误;现代 HTTP 抓取的结果在一定程度上取决于所用的 HTTP User-Agent。和 Inoreader 类似,Feedly 也会周期性地用伪造的旧浏览器 HTTP User-Agent 头去抓取我的聚合 feed,结果失败,然后硬是把用其常规 Feedly HTTP User-Agent 实际抓取 feed 的结果当成了展示内容。对此我无能为力;你应该联系 Feedly 客服——如果你找得到的话。更多细节见我在 Wandering Thoughts 上的这条评论。由于正在遭受攻击,你可能需要更改“User Agent Brand Masking”设置,让你的 Vivaldi 标识为 Vivaldi 而不是 Google Chrome。即便是当前版本的 Vivaldi 也需要这样做。你也可能是通过 archive.today、archive.ph、archive.is 等站点看到这个页面的。不幸的是,archive.* 抓取页面存档的方式与恶意行为者无法区分。它们使用老旧的 Chrome User-Agent 值,从广泛分布且未明确标识为它们所有的 IP 地址段抓取,其中一些 IP 地址还有伪造的反向 DNS 记录,声称自己是 googlebot 的 IP 地址(这通常只有相当恶劣的行为者才会做)。我建议你改用 archive.org,它是一个行为更规范的存档爬虫,可以抓取我的博客(Wandering Thoughts)。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。