Meta 爬虫疯狂涌入，一艺术家网站被挤爆

IT之家 11 月 3 日消息，圣地亚哥一名创作者原本希望有更多人访问自己的网站，结果她迎来的不是访客，而是 Meta 爬虫带来的 55 万余次访问，如今她只能手忙脚乱地维持网站正常运转。 儿童绘本作家、插画师切尔西 · 保卢斯（Chelsea Paulus）向 Business Insider 表示，这台自动访问程序耗尽了网站主机资源，她不得不和服务商一起排查故障。 “我从来没有遇到过这种情况，”保卢斯说，“哪怕我懂一些技术，这周也过得心力交瘁。” 保卢斯经营这份事业已有十年，去年转为全职创作者。此前她有科技和网页设计从业背景，所以流量异常暴涨时，她很快察觉到不对劲。 “我不认为这是 Meta 蓄意发起的恶意攻击，”保卢斯说，“但小微企业主需要知道这类风险，并且要有可用工具来阻挡爬虫。”

艰难维持网站在线

10 月 24 日，她收到主机服务商 SiteGround 的邮件预警：分配给她的 CPU 资源已经用掉 80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。 保卢斯说，周一她查看网站安全面板，发现每秒有好几次访问请求涌入。 “我打开 WordFence，屏幕上每秒都在不断刷新访问记录。”保卢斯说，“在 WordFence 里点开详情可以看到 IP 地址，查询之后发现，这个 IP 归属 Meta 位于达拉斯的节点。” 访问程序的标识名称为“Meta External Agent”，主机服务商 SiteGround 的工作人员后来也确认了这一点。 根据 Meta 开发者页面说明，Meta External Agent 会在全网抓取内容，用途包括基础大模型训练、直接收录内容以优化产品。 保卢斯偶尔投放 Meta 广告，之前也见过 Facebook 爬虫访问，但如此大的访问量是第一次碰到。 “我修改了 robots.txt 文件，也配置了防火墙，但这些规则生效往往需要 24 小时，而我需要立刻拦住爬虫。”保卢斯说，“所以我联系了主机商。” “服务商给了我一段代码，加到网站的隐藏配置文件里。”她补充道，“普通建站者一般不会去碰这类文件，但这是当时唯一能挡住爬虫的办法。” 但这个办法只是临时生效。到本周中旬，另一款名为“Meta Web Indexer”的 Meta 爬虫又来了，直接把主机资源占用拉满。 据IT之家了解，Meta 开发文档将 Meta Web Indexer 定义为网页爬虫，作用是浏览网页、优化 Meta AI 给用户返回的搜索结果质量。

事情仍没有妥善解决

Meta 发言人周一表示，网站运营方有权管控爬虫行为，并引导大家查阅《Meta 网页爬虫开发者文档》，了解各类爬虫的用途。 “和很多企业一样，Meta 出于多种目的使用网页爬虫。网站管理者可以通过 robots.txt 这类工具，设定我们爬虫和站点的交互方式。”Meta 发言人说，“我们公开提供爬虫对应的 robots.txt 配置指引，并且尊重站点所有者设置的规则。” 保卢斯和 SiteGround 的邮件截图显示，服务商称其“服务器侧防护”已经在限制爬虫请求。 截至周一，保卢斯的网站依旧不稳定。她只能删掉 Instagram 主页里的网站链接，避免真人访客叠加爬虫流量，导致网站彻底宕机。 保卢斯无力花钱升级流量配额 —— 爬虫不是客户，不会带来任何收入。目前也没有法律禁止 AI 爬虫访问公开可浏览的网站。 她还在尝试 Cloudflare 的人机验证工具拦截爬虫，该工具目前免费。 “Meta 应当设置约束机制，避免这类事故重演。”保卢斯说，“试想如果不受约束的 AI 爬虫持续这样，Cloudflare 这类服务商还能一直免费提供防护吗？” 她还说：“如果这类事情频发，小微企业最终只能多花钱，要么升级资源配额，要么购买防护服务。”