返回资讯中心
外部精选
软件工程
#开发者实时流

FreeBSD 防火墙性能实测示例

来源标题:Our example of great FreeBSD firewall performance

本文展示了 FreeBSD 防火墙在实际使用中的性能表现。原文还提到,由于 2025 年初出现大量使用旧版浏览器 User-Agent 的高频爬虫(部分用于 LLM 训练数据收集),站点对疑似爬虫的访问进行了拦截。Inoreader 的订阅抓取器不在拦截范围内。

Hacker News 最新speckx2026/11/11 · 6 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

你大概是因为想访问我博客(Wandering Thoughts)或它所属的 wiki 项目 CSpace 的某个部分,才看到这个页面的。不幸的是,你使用的浏览器版本被我的反爬虫 precaution 判定为可疑,最常见的原因是版本太旧(这种情况大多出现在 Chrome 的某些版本上)。遗憾的是,2025 年初出现了一波高流量爬虫的泛滥(据说部分目的是为 LLM 训练收集数据),它们使用各种旧的浏览器 user agent,尤其是 Chrome 的 user agent。为了减轻 Wandering Thoughts 的负载,我正在试验(尝试)把它们全部屏蔽掉,而你就撞上了这个。如果这是误判,而你用的确实是所选浏览器的当前版本,可以通过我目前在大学的任职单位联系我(你应该能从那里推算出邮箱地址)。如果方便的话,请告诉我你使用的浏览器等信息,最好附上完整的 User-Agent 字符串。我并没有屏蔽 Inoreader 的 feed 抓取器,也不认为它太旧,它一直定期从我这里抓取 feed。我不知道为什么 Inoreader 会给你显示这个页面。有可能是它们会周期性地用旧的浏览器 HTTP User-Agent(或者真正的旧浏览器)去抓取 feed 或页面,然后把那次抓取的结果(也就是这个页面)当成应该展示给用户的内容,而不是用它们的聚合 feed 抓取器所得到的结果。这在如今是个严重的错误;现代 HTTP 抓取的结果在一定程度上取决于所使用的 HTTP User-Agent。和 Inoreader 类似,Feedly 也会周期性地用伪造的旧浏览器 HTTP User-Agent 头来抓取我的聚合 feed,结果失败,然后就硬把用其常规 Feedly HTTP User-Agent 进行实际 feed 抓取所得的结果套用上去。对此我无能为力;如果你能找到 Feedly 的支持渠道,应该去联系他们。更多细节见我在 Wandering Thoughts 里的这条评论。由于正在遭受攻击,你可能需要修改“User Agent Brand Masking”设置,让你的 Vivaldi 标识为 Vivaldi 而不是 Google Chrome。即便是当前版本的 Vivaldi 也适用这一点。你可能是通过 archive.today、archive.ph、archive.is 等站点看到这个页面的。不幸的是,archive.* 抓取页面进行存档的方式让人无法与恶意行为者区分开来。它们使用旧的 Chrome User-Agent 值,从广泛分布、且未被明确标识为其所有的 IP 地址段进行抓取,而且它们有些 IP 地址的反向 DNS 记录是伪造的,声称自己是 googlebot 的 IP 地址(这种行为通常只有相当恶劣的行为者才会做)。我建议你改用 archive.org,它是一个行为更规范的存档爬虫,可以抓取我的博客(Wandering Thoughts)。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →