主动基准测试:在基准运行中实时分析性能而非只看结果
来源标题:Active Benchmarking
主动基准测试主张在基准仍在运行时用其他工具同步分析性能,而不是跑完只收集数据。被动式的「跑完就忘」容易得出错误或误导性结论,因为过程中出现的问题全被忽略。主动分析能确认基准测的是你真正想测的内容,并把原始数据转化为有效信息。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
主动基准测试的过程与任何应用的性能分析类似。一个区别能让这个过程更轻松:你一开始就有一个已知的工作负载可供分析——也就是所应用的基准测试。
基准测试通常被执行,然后就被忽略,直到它们完成。那是被动基准测试,其主要目标是收集基准数据。数据并不等于信息。
一个明显的迹象是,当所呈现的唯一技术结果就是基准测试结果本身时。我见过无数的幻灯片、博客文章和论文,展示着令人印象深刻的对比较结果的柱状图,但随后却没有提供任何支撑性的技术证据。我的工作就是深入调查其中许多案例,而我几乎每次都会发现它们要么是错的,要么具有误导性。主要原因是它们是以被动的方式运行的,“发射后不管”式的,没有额外的分析,所有问题都被忽视了。
在主动基准测试中,你会在基准测试仍在运行时(而不仅仅是完成后)使用其他工具来分析性能。你可以确认基准测试测试的是你打算让它测试的内容,并且你理解那是什么。数据变成了信息。这还可以识别被测系统或基准测试本身的真正限制因素。
要执行主动基准测试,你可以使用操作系统提供的任何性能分析工具:vmstat、iostat、mpstat、sar、top、tcpdump/snoop、perf、bcc+eBPF/DTrace/SystemTap、strace/truss 等等。你也可以遵循性能分析方法论来指导你使用这些工具。USE 方法尤其适合于此,因为它能识别典型的限制因素:硬件和软件资源。
如何判断别人是否做了主动基准测试:
理想情况下,在给出基准测试结果的同时,还应给出限制因素(或疑似限制因素)。例如:“文件系统结果受到服务器 CPU 速度的限制,而且基准测试是单线程的”。作为证据,这一陈述可以包含一张截图,显示基准测试是单线程且受 CPU 限制的:例如,在 Linux 上使用“pidstat -t 1”;在 Solaris 上使用“prstat -mLc 1”。
除了在基准测试运行时进行分析外,你还应该事先分析其配置。理想情况下,基准测试是开源的,允许你研究源代码,以及任何 Makefile 和编译器选项。
以下是主动基准测试的实例,展示了用于分析的工具:
使用主动基准测试可以识别的常见陷阱,是当基准测试出现以下情况时:
最常见的情况是,基准测试并没有真正测试它所声称要测试的内容,而这可以通过主动基准测试来识别。有时结果仍然有用,因为现在可以正确地解读它们了。
这是对基准测试完成后数值结果的统计分析。这通常被认为是一种有用的做法,可以从原始基准数据中挖掘新信息,更好地理解结果,并建立信心。然而,如果基准测试结果一开始就是错误的或具有误导性的,统计分析可能会让事情变得更糟。一种看似合理的统计方法可以让基准测试结果显得可信,而实际上它们却是错误的。所挖掘出的新信息也可能是错误的,从而使问题更加严重。
鉴于糟糕的结果,唯一的好结果是统计分析认定它们不可信(例如,CoV 过高),然后分析转向理解实际基准测试出了什么问题。在实践中,这种情况并不像我期望的那样经常发生。通常,被基准测试的是错误的目标,但结果在统计上却是合理的。
统计分析在主动基准测试之后才有用——当你有有效的数字可以处理时。先 iostat,后 R。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。