博主因爬虫泛滥屏蔽旧版Chrome浏览器访问

你之所以看到这个页面，很可能是因为你试图访问我的博客（Wandering Thoughts）或它所属的 wiki 站点 CSpace 的某个部分。遗憾的是，你使用的浏览器版本被我的反爬虫预防措施判定为可疑，最常见的原因是版本太旧（这种情况大多出现在 Chrome 的各个版本上）。不幸的是，截至 2025 年初，大量高流量爬虫肆虐（部分原因似乎是为 LLM 训练收集数据），它们使用各种旧的浏览器 user agent，尤其是 Chrome 的 user agent。为了减轻 Wandering Thoughts 的负载，我正在尝试（努力）屏蔽所有这些爬虫，而你正好撞上了。如果这是误判，而你使用的确实是所选浏览器的当前版本，可以通过我在大学的当前工作地点联系我（你应该能由此推断出邮箱地址）。如果方便，请告诉我你使用的浏览器等信息，最好附上其确切的 User-Agent 字符串。我并没有屏蔽 Inoreader 的 feed 抓取器，也不认为它太旧，它一直定期从我这里抓取 feed。我不知道为什么 Inoreader 会向你显示这个页面。可能是它们会定期用旧的浏览器 HTTP User-Agent（或真正的旧浏览器）尝试抓取 feed 或页面，然后把那次抓取的结果（也就是这个页面）当作应该展示给用户的内容，而不是用它们自己的聚合 feed 抓取代理所得到的结果。在今天是这是一个严重的错误；现代 HTTP 抓取的结果部分取决于所使用的 HTTP User-Agent。和 Inoreader 类似，Feedly 也会定期用伪造的旧浏览器 HTTP User-Agent 头抓取我的聚合 feed，抓取失败后，就顽固地沿用它们用常规 Feedly HTTP User-Agent 实际抓取 feed 时得到的结果。对此我无能为力；如果你能找到 Feedly 的支持渠道，应该去联系他们。更多细节见我 在 Wandering Thoughts 中的这条评论。由于持续遭受攻击，你可能需要修改“User Agent Brand Masking”设置，让你的 Vivaldi 标识为 Vivaldi，而不是 Google Chrome。即便是当前版本的 Vivaldi 也需要这样设置。你可能是通过 archive.today、archive.ph、archive.is 等站点看到这个页面的。遗憾的是，archive.* 抓取页面进行存档的方式与恶意行为者无法区分。它们使用旧的 Chrome User-Agent 值，从广泛分布且未明确标识为它们所有的 IP 地址段进行抓取，而且它们的一些 IP 地址还伪造了反向 DNS 记录，声称自己是 googlebot 的 IP 地址（这通常只有相当恶劣的行为者才会做）。我建议你改用 archive.org，它是一个行为更规范的存档爬虫，可以抓取我的博客（Wandering Thoughts）。