博主称自托管网站遭大厂爬虫与云服务IP频繁抓取，不堪其扰

几年前我开始自己托管一些东西。一开始，学习过程和如何搭建一切的经历驱使着我不断 eager 地学下去，甚至连如何让所有服务保持运行和可靠也一并学了。但后来，LLM 爬虫来了。

我看了看 Anubis，觉得不想让普通访客承受加载延迟，于是转向了 iocaine，它做的事情略有不同，本来也还行，直到太多爬虫冲击我的站点，生成的内容喂给它们，把我的上传带宽占满了。于是我把 iocaine 撤了，用 iftop 观察——甚至没看多久——几个晚上下来，就注意到一堆由云服务公司和 Meta（Facebook）之流拥有的 IP 段，那些服务器完全没有理由访问我的站点。我很确定没人会在那边分享我博客的链接。还有 Azure、阿里云……以及一堆其他家。

大型云服务商的服务器不需要访问我的网站。

我当然知道，爬虫也在使用住宅 IP 段，通过面向应用开发者的 SDK 来实现，这些 SDK 会加入后门，利用用户的网络连接干“别的事情”（我懒得找链接放这儿了，但你要是想对网络现状更沮丧一点，可以自己搜搜看），不过大部分流量来自少数几个大型云服务商分配的 /16 IP 段，所以我干脆在 nftables 里把这些段丢了。

我还加了 nft-blackhole，配了几个看起来不算过于激进的 IP 列表，似乎也有点帮助。

看我摄影站点的人应该注意到，我已经好几年没更新它了。几年前我谈过这事，但它正驱使着我考虑把现在的摄影网站撤掉，改成每个活动放链接卖实体 zine。

这对我来说工作量更大，但企业对网络的这种理所当然的抓取——就为了把一个拙劣的创意仿制品卖回给我们——实在让我恼火。

我不想把时间花在最终喂养那台机器的事情上。是的，我知道他们现在在买书、销毁书，来给它喂新数据，因为它吸食的在线池子已经被 LLM 垃圾搅得浑浊不堪，连它自己的训练数据都被污染了，但他们似乎不太可能从一个新西兰本地摄影师那里买什么破 zine——而这一点我可以监控。

我最近看了一个视频，一群开发者说他们怀念旧时的网络，那时每个人都有自己的一站。我看这不太可能重现了，因为如果我们的网站托管在家里的服务器上，就得忍受大量的“合法”DDoS。如今你没法只当一个随意的技术爱好者，同时又有足够限流/防护措施到位。这需要一定的知识和技能，除非你……付钱给另一家大公司，让它当前面的 CDN。而按我应有的流量来说，我非常不喜欢这个答案。

如果我能把流程精简到一定程度，也许我会享受做 zine/书的过程。如果我搞出点有用的东西，当然会在这里更新。

这又是一篇关于当下令人沮丧的现实和企业科技过度扩张的帖子。

但也许它会逼着我去做一些只存在于物理世界的东西，所以这算是我们的那一线希望吧。

我知道我不是唯一有这种感觉的人。

tech, AI, zine, self hosting, photography ⬅ 上一篇 1 万用户……那有多少版主？ 下一篇 ➡ 把 Lowkey Party 迁回 BSSG