
AdGuard Home在10美元OpenStick上启用威胁情报源后崩溃
来源标题:AdGuard Home: Next-Gen – Blocking 2.3M Addresses on a $10 OpenStick
AdGuard Home在低成本硬件OpenStick上加载HaGeZi威胁情报源(约200万域名)后崩溃。作者指出AdGuard Home因支持正则表达式等复杂过滤功能,每条NetworkRule约占用296字节内存,内存需求高于esp32-c3-adblock等简单方案。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AdGuard Home 是一款非常出色的软件。它拥有庞大的社区,久经实战检验,易于运行、易于配置,还提供了漂亮的 Web 界面。我把它装在了我那块强悍的 OpenStick 上,鉴于互联网是个险恶之地,我寻思着干脆把 HaGeZi Threat Intelligence 的订阅源全部启用(根据你叠加的列表不同,大约有 200 万个域名)……结果它崩溃了!
这些都是极好的方案,各有优劣,但最重要的是,如果我们坚持使用 AdGuard Home,就会面临一个有趣的工程难题需要解决!方案 3 胜出,因为它是最有趣、最好玩的解法。
首先要理解的一点是,AdGuard Home 比 esp32-c3-adblock 之类的替代品要复杂得多。换句话说,它能做更多事,所以需要更多内存。它不只是简单地拦截域名,还允许你创建“NetworkRules”,其中包含各种花哨的过滤器,甚至包括完整的正则表达式:
这些规则被建模为一个 struct,大约占用 ~296 字节(加上额外开销)。这其实相当不错了,它让 AdGuard Home 能够支持正则、DNS 重写、例外规则等功能。在不牺牲功能的前提下,我看不到任何明显的优化空间。
type NetworkRule struct { // DNSRewrite is the DNS rewrite rule, if any. DNSRewrite *DNSRewrite // Shortcut is the longest substring of the rule pattern with no special // characters. Shortcut string // Whitelist is true if this is an exception rule. // // TODO(a.garipov): Consider unexporting. Whitelist bool // contains filtered or unexported fields
AdGuard Home 的实现还有第二个挑战:重建过滤列表时,它会同时把输入文件(来自互联网)、新的过滤列表和旧的过滤列表都保留在内存中。这样做的好处是,服务器更新期间你仍然可以进行 DNS 请求;坏处是,更新时需要大约 3 倍的“空闲”内存。
因此最坏情况并不只是 296 字节。粗略估算:每条 NetworkRule 约 296 B,加上 shortcut 索引的开销(见下文),重建时旧引擎仍然存活、Go 的 GC 还在追赶,内存占用会达到 ~2–3 倍,这样每条过滤规则带来的峰值内存压力约为 ~1 KB。算起来很简单:~230 万条记录 → 峰值约 ~2.3 GB。这大约是我们那块棒子上可用 RAM 的五倍。
这与我们的实际观察相符(启用拦截列表时崩溃,用较小的列表时运行正常),也与人们在 GitHub Issue - High memory and CPU usage 中报告的情况一致。
既然一次重建会触发约 3 倍的“空闲”内存占用,那么任何我们能减少的 NetworkRule 内存占用都会带来三倍的回报。我们能想到的最高效实现是什么?esp32-c3-adblock 走在了前面,40 位看起来是个非常不错的目标,然而这只适用于简单规则。
那么,我们能用简单哈希表示多大比例的过滤规则?在 OpenStick 当前启用的列表上:
用简单哈希实现替换现有的 NetworkRule 实现,可以覆盖 93.2% 的情况,并在重建时可能节省 1600–1800 MB 内存。这相当不错!
然而,替换现有实现的代价是丢失 6.8% 的规则,更重要的是,失去与现有拦截列表的兼容性。
大部分复杂规则来自 Phishing Army,而既然连 Troy Hunt 都被钓鱼了,那这似乎不是一个适合妥协的地方:
除此之外,esp32-c3-adblock 已经实现了这一方案,而且是一款优秀的软件。直接替换现有实现只会得到 esp32-c3-adblock 的一个变体,但如果我们能结合两者的优点呢?这似乎是个值得探索的想法,所以我们再深入一点。
基于哈希的方法还有一个额外优势:查询速度也快了约 ~17 倍。如果对哈希排序,我们可以用 O(log N) 的二分查找。这更快,不过在实践中这只意味着你那些坏域名被拦截得更快。对于不在拦截列表中的所有内容(包括合法的 DNS 请求),我们仍然需要检查更复杂的 NetworkRules。
现有的 AdGuard Home 实现(通过 urlfilter)使用了一个相当聪明的索引。每个 NetworkRule 都有一个 setShortcut() 方法,可以生成一个“shortcut”。shortcut 是一个索引,由模式中最长的、不含特殊字符的字面子串构成(例如 ||ads.example.com^ → "ads.example.com")。
这个 shortcut 并不是以指向规则的重叠切片形式存储的。相反,引擎会:
"ads.e" -> [id42] // this rule's chosen (rarest) 5-gram "track" -> [id7, id19] // two rules that both landed here ...
在 DNS 查询时,urlfilter 会构造 http:// + hostname,在这个字符串上滑动相同的 5 字符窗口,取所有找到的存储 ID 的并集,然后对每个候选执行完整的 Match()。误报是设计使然;Match() 是真相的来源,所以我们需要对所有匹配项都执行这一步。
对于查询来说相当聪明高效!因此最佳情况是:
最坏的情况是某个合法主机名,其 5-gram 与许多索引键发生碰撞:
通过把大多数简单域名拦截规则移出这个索引,我们缩小了索引集合,也让合法请求的开销更低。
罕见的双重胜利(代价是更高的复杂度)!
我最终采用的方案如下:
简单的 hosts / ||domain^ 规则被哈希到一个有序的磁盘 blob(blocklist.bin)中,并通过 mmap 进行查询。哈希表无法表达的一切:@@ 例外、$-修饰符、正则、路径规则,以及那些格式别扭的列表,都保留在一个紧凑的 urlfilter 引擎中。
如你所见,这些优化都不是免费的。虽然我们大幅减少了内存占用和查询时间(在大多数场景下),但代价是实际上实现了一整套二级(尽管相当简单)的拦截引擎。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。