返回资讯中心
外部精选
软件工程
#开发者实时流

实测五款开源日志分析器:同一份Nginx日志的访客数偏差巨大

来源标题:I ran one Nginx log with 43,231 visitors through five log analyzers

作者用一份包含43231名访客的Nginx日志测试了GoAccess、AWStats、Webalizer、Matomo日志导入器和lnav五款开源分析器,结果最低报出49616,最高报出105885。剔除所有爬虫后重跑,结果仍在49576到60209之间,无一接近真实值。作者据此认为日志中的“独立访客”取决于各工具自身的判定规则而非真实人数,只有访问量和页面浏览量才具备可比性。

Hacker News 最新markosavran2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我把正好 43,231 个人放进一个访问日志,然后让五个开源访问日志分析器来数:GoAccess、AWStats、Webalizer、Matomo 的日志导入器和 lnav。最低的答案是 49,616,最高的是 105,885。

我一开始赌的是机器人能解释所有分歧:每个分析器都自带一份爬虫列表,我以为把爬虫排除掉,访客数就能对得上。毕竟访客是人。

于是我把所有机器人去掉,又跑了一遍。

计数仍然从 49,576 到 60,209 不等。没有一个接近 43,231。

这时我才不再把「独立访客」当成人数来读。日志分析器数的不是人,它数的是它自己那套规则认定的访客,这让日志里的「独立访客」成了一个设置项,而不是一次测量。访问次数和页面浏览量才是真正能拿来比较的数字,在去掉机器人的那份日志上,它们与真实值的偏差保持在 1.4% 以内。

实验环境:2 vCPU · AlmaLinux 10.2 · 2026 年 11 月 4 日

下面的图表把每个工具对完整日志的结论与真实人数并列。GoAccess 出现了两次,分别带一个参数和不带,lnav 不在其中,因为它没有访客的概念。

找一根没到标记线的柱子。没有。

每根柱子都超出了,而最长的两根来自同一个程序 GoAccess,一个参数就把它从 105,885 降到 67,863。

这看起来像是机器人理论的证据。但它只是故事的一部分。

真实的访问日志对这件事毫无用处。首先它是个人数据,其次没人能告诉你一份日志里到底有多少人。

所以我日志里的每一行都是假的,而每一行我都知道是人还是机器人产生的。

一个小 Python 脚本写出一个月默认 combined 格式的 nginx 日志,2026 年 10 月 1 日到 31 日,塞满了分析器通常会产生分歧的各种情况。

手机在大多数访问中会拿到一个新地址。一个 75 人的办公室位于三个地址之后。43,231 名读者中有 3,586 人会回来,少数人几乎每天都来,有些人会在笔记本和手机之间切换。

然后是机器人。搜索爬虫、AI 爬虫、一个 uptime 监控和 Mastodon 的链接预览都报出自己的名字。有两个访客在撒谎:一个冒充 Chrome 91 的扫描器,只探测 /wp-login.php 和 /.env 这类路径;一个冒充 Chrome 141 的抓取器,请求的是真实页面。

没有一样东西第一次就顺利跑通。我第一份日志从 10 月 5 日开始并跨进了下个月,这是个错误,因为 AWStats、Webalizer 和 Matomo 都按自然月报告,来自两个不完整月份的访客加不起来。我重新生成了一份正好覆盖一个月的。接着 AWStats 8.0 缺两个 Perl 模块起不来,Webalizer 二进制要一个我的 AlmaLinux 机器上没有的 Berkeley DB 库。两个修复都写在文末的实验笔记里,附有确切的报错行。

每个工具都按默认设置运行,凡是默认值看起来像陷阱的地方我都跑了第二遍(我会在过程中标出来)。

下面是生成器描述的最终日志,要关注的是人和机器人之间的划分。

要记住的三个数字是答案:43,231 个人、60,706 次访问和 109,351 次页面浏览。从这里开始每个工具打印出来的东西都拿它们来对照。

这就是那个赌,而第一次运行似乎支持它。机器人和扫描器写下了 502,103 行中的 118,216 行,几乎四分之一,而有多少漏进报告取决于每个工具自带的列表。

GoAccess 是个异类。它识别出日志里几乎所有的爬虫,并在 Browsers 面板里给它们打上标签,然后照样把它们算作访客。只有 --ignore-crawlers 能把它们去掉,这一个参数就是 105,885 和 67,863 之间的全部距离。

Webalizer 的问题相反,因为仍在维护的分支 Stone Steps Webalizer 根本不带机器人列表。按原样运行,它为一个只含 60,706 次访问的日志报告了 166,295 次访问,其中 9,855 次来自那个 Chrome 91 扫描器,而它从未得到过一次成功响应。

我自己写的十行 Robot 规则把总数降到 76,901。

另外两个不需要帮忙。AWStats 的列表最完整。它按名字认识 GPTBot,并用通用模式抓到 ClaudeBot、PerplexityBot 和 Mastodon 的抓取器。Matomo 的导入器匹配 bot/ 和 robot 这类子串,只漏掉了 Mastodon 的 agent(它以单独的「Bot」结尾),而 Matomo 本身在记录 Mastodon 请求的同时把它们丢弃了。

到此理论还站得住:不同的列表,不同的泄漏。

下面的网格把六种流量与四个会计访客的工具对照。从上往下读,注意最后一行。

它的 7,285 次页面请求出现在每一份报告里,在真实页面浏览量之上多出 6.7%,而任何 user agent 列表都永远修不好这一点,因为它发送的 agent 是普通的 Chrome 141。

只有行为能暴露它:一个段里的 40 个地址、不请求 CSS 或 JavaScript、从不带 referrer。五个工具没有一个看行为(我的机器人流量检测指南涵盖了哪些可以手工检查)。

赌局的第一个裂缝来自 AWStats。它已经去掉了所有报出名字的机器人,而它漏掉的那个抓取器藏在 40 个地址后面。它报告的访客数仍然高了 14.8%。

如果日志里根本没有机器人,这些工具会一致吗?

我把日志削减到人产生的 383,887 行,重新跑了四个报告访客的工具。AWStats 说 49,576,Webalizer 说 49,945。GoAccess 说 59,578,Matomo 说 60,209。

这是我没想到的结果。差距缩小了,而且不再关乎机器人。每个工具都带有一条关于什么是访客的规则,而这四个工具用了三种不同的规则。

下面的图让两个读者走完这三种规则:一个在笔记本上五天里打开网站,另一个用手机从五个地址访问。数一数每种规则把他们算成几个访客。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →