大家好！一切始于 rocketgit.com（一个 AGPL 的 git 托管服务）上每天 400 万次请求，而不是几千次。忍无可忍了！演示文稿（8 页）： https://rocketgit.com/user/catalinux/ai-drop/artefacts/downl...于是，我开发了 AI-drop 这个自由软件项目（AGPL），用来拦截这类爬虫。rocketgit.com 有一个非常严格的 robots.txt（只允许访问大约 10 个页面），但爬虫根本不遵守。所以，不遵守的就会被封禁。靠 IP 或 user-agent 来限制已经行不通了。爬虫使用数百万个 IP，一个 IP 要过好几天才会被重复使用。而且它们还使用伪造的 user-agent。我用蜜罐来构建行为不端的 IP 列表，并将其流式传输到下游实例。目前我手上有大约 1,573,000 个 IPv4 和 6,000 个 IPv6 行为不端的地址。这些地址我只保留 7 天，以免误封合法用户。我一直在观察 rocketgit.com 上的流量，这个方案运行得很好。它使用一个 eBPF 程序来快速丢弃数据包。你可以很容易地在自己的 Linux 服务器上试用：# 查看 https://rocketgit.com/user/catalinux/ai-drop/pkg

如果你的发行版已经在里面了，按照说明操作。

这是让你保持最新的最佳方式。# 查看 'ai-drop.spec' 或 'debian/control' 并安装依赖。

git clone https://rocketgit.com/user/catalinux/ai-drop cd ai-drop ./configure make install

编辑 /etc/ai-drop.conf

非常重要：

设置 'interface'（目前不支持非 'eth' 接口）

如果你只是想评估这个产品，设置 'safe_mode = 0'。然后：systemctl enable --now ai-drop

journalctl -f -u ai-drop# 行为不端的 IP 列表将从主服务器流式传输过来。# 查看统计数据，尤其是 'drops'： ai-drop dump-stats

输出示例：

now=1794482762 ipv4_total=0 ipv6_total=0 total=0 \

ipv4_adds=0 ipv6_adds=0 adds=0 \

ipv4_updates=0 ipv6_updates=0 updates=0 \

ipv4_drops=0 ipv6_drops=0 drops=0 \

ipv4_real_drops=0 ipv6_real_drops=0 real_drops=0 \

ipv4_expires=0 ipv6_expires=0 expires=0 \

ipv4_deletes=0 ipv6_deletes=0 deletes=0 \

last_load=0 daemon_start=0请注意，开发这个软件没有使用任何 AI。感谢你花时间阅读！Catalin(ux) C.M.T. BOIE

评论 URL：https://news.ycombinator.com/item?id=50479949 点数：2

评论数：0