开发者用简易陷阱拦截AI爬虫,网站流量下降超80%
来源标题:Blunt Banhammer Blocks Basic Bots Ballistically
开发者用自制工具B6拦截AI爬虫,使OpenBenches.org的机器人流量下降超过80%。该网站上月向访客传输了逾2.5TB数据,主要来自AI机器人反复抓取数据和图片。B6受Jeff Starr的Blackhole启发,可在重度缓存站点上生效。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI机器人 CyberSecurity NaBloPoPoMo PHP WebDev · 3条评论 · 1,350词
我用一个简单的陷阱把网站的机器人流量削减了80%以上。
上个月,我的业余网站OpenBenches.org向访客传输了超过2.5TB的数据。虽然我很想认为这个网站人气爆棚,但看起来只是AI机器人在无休止地爬取数据、大量吞食图片。
于是我构建了B6,一个不分青红皂白铲除这些不速之客的工具。
它的灵感非常松散地来自Jeff Starr的Blackhole,但即使在缓存很重的网站上也能生效。
以下是它的工作原理概述。
这篇博文将向你展示如何自己动手搭建,并讨论它可能带来的一些问题。
robots.txt文件位于网站根目录,包含一系列给自动网络爬虫的指令。守规矩的机器人会读取它,并拒绝访问你网站上的特定部分。
⧉ User-agent: * Disallow: /honeypot/
这表示机器人不应访问honeypot目录下的任何页面。
机器人通常每24小时检查一次更新,所以要么等一天,要么手动提交给主要爬虫。
.htaccess文件包含服务器处理请求方式的指令列表。
找到你的.htaccess文件中类似这样的部分:
⧉ <IfModule mod_rewrite.c> RewriteEngine On RewriteBase /
将其修改为:
⧉ <IfModule mod_rewrite.c> RewriteEngine On RewriteBase /
BLOCKED IPs
TEST-NET-1
RewriteCond %{REMOTE_ADDR} "=192.0.2.1" RewriteRule ^ - [R=402,L]
/BLOCKED IPs
重要的是,这些规则要放在任何其他重写规则之前。
将这个IfModule的结尾修改为:
⧉ </IfModule> ErrorDocument 402 "Payment Required - Access Denied."
如果某个IP地址在封锁列表中,服务器将发送错误代码和一条可读消息。你可以在这里添加任何你喜欢的纯文本。
在honeypot目录内,创建一个名为index.php的文件(或任何你喜欢的名字)。当这个页面被访问时,它会获取访客的IP地址和其User Agent名称,然后将它们放入BLOCKED IPs区域。
⧉ PHP // What's their IP? $IP = get_client_ip(); // User Agent $UA = isset( $_SERVER["HTTP_USER_AGENT"] ) ? $_SERVER["HTTP_USER_AGENT"] : ""; // Get the existing .htaccess file. $htaccess_file = "../.htaccess"; $htaccess = file_get_contents( $htaccess_file ); // Split by newline. $htaccess_lines = explode( separator: "\n", string: $htaccess ); // Where's our start block? $start = "### BLOCKED IPs"; $end = "### /BLOCKED IPs"; // Exit if the .htaccess doesn't have the block. if ( !in_array( needle: $start, haystack: $htaccess_lines ) ) { die(); } // This is where to start from. $start_block = array_search( needle: $start, haystack: $htaccess_lines ); // Add the line after the start block. // Include a date. $htaccess_lines[ $start_block ] = $start . "\n" . "\t#\t" . date( "c" ) . "\t{$UA}\n" . "\tRewriteCond %{REMOTE_ADDR} "={$IP}" [OR]"; // Turn the array back to a string. $newHtaccess = implode( separator: "\n", array: $htaccess_lines ); // Save the new .htaccess file. file_put_contents( filename: $htaccess_file, data: $newHtaccess ); function get_client_ip():string // Adapted from https://github.com/ibericode/koko-analytics/blob/main/src/Resources/functions/collect.php // X-Forwarded-For sometimes contains a comma-separated list of IP addresses // @see https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/X-Forwarded-For $ips = empty( $_SERVER["HTTP_X_FORWARDED_FOR"] ) ? [] : \array_map( "trim", \explode( ",", $_SERVER["HTTP_X_FORWARDED_FOR"] ) ); // Always add REMOTE_ADDR and HTTP_CLIENT_IP to list of ip addresses, if set foreach ( ["REMOTE_ADDR", "HTTP_CLIENT_IP"] as $key ) { if ( !empty( $_SERVER[$key] ) ) { $ips[] = $_SERVER[$key]; // Return first valid IP address from list foreach ( $ips as $ip ) { if ( \filter_var( $ip, FILTER_VALIDATE_IP, FILTER_FLAG_NO_PRIV_RANGE | FILTER_FLAG_NO_RES_RANGE ) ) { return $ip; return "";
布置陷阱
网络爬虫会查看一个页面,找到上面的每一个链接,然后访问这些链接。所以我们需要在每个页面上放一个指向honeypot的链接——但要以普通用户不会发现或点击的方式来实现。
这会添加一个链接,将其从无障碍树中移除,并给它加上无法点击的文本(一个零宽连接符)。
⧉ HTML<a id="honey" aria-hidden="true" href="/honeypot/index.php"></a>
这段CSS将它从普通浏览者的视野中隐藏,并从视图中移除鼠标光标。
⧉ CSS#honey { display: none !important; cursor: none !important;
可能引发的问题
人类不太可能找到这个链接、点击它然后被封禁。但如果真的发生了,可以考虑在封锁提示文本中加一条消息,告诉他们如何解封。
一些有用的机器人会忽略robots.txt。如果它们通过User-Agent字符串表明身份(它们应该这样做),你可以手动将它们从.htaccess中移除。你也可以为它们编写白名单豁免。但当然,许多恶意机器人会谎报自己的真实身份。
反过来,并非所有机器人都会爬取每一个链接。这无法抓住那些遵守robots.txt但仍然有问题的机器人。
如果你封锁了成千上万个不同的机器人,服务器在解析.htaccess时性能可能会下降。有一些微弱的轶事证据表明它会带来轻微的开销。但就个人而言,我认为不值得为此担心。
机器人经常使用被劫持的IP地址。在机器人转移之后,无辜的一方可能会被封锁在你的网站之外。每次封锁都带有一个时间戳。你可以定期解封较旧的条目。
机器人会在数百个不同的IP地址之间轮换。所以同一个机器人可能会被多次封锁。
机器人可能会看到CSS将链接标记为隐藏,从而拒绝跟随它。你可以不用CSS,而是使用不可见空格或其他人类难以看到但对机器人来说可见的字符。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。