
指南:如何系统评估LLM应用,从评分器设计到RAG与Agent测试
来源标题:The Complete Guide to LLM Evaluation
文章提出用评估代替人工抽查来系统检验LLM应用:为输出建立测试用例并按书面标准打分,在每次提示词、模型或检索改动前后对比分数,形成回归测试闭环。内容涵盖评分器选择、可靠的LLM评判器设计,以及发布周期内对RAG系统和Agent的评估。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享 文章 分享 本文将教你如何系统地评估 LLM 应用,从选择评分器、设计可靠的 LLM 评判器,到在发布周期内评估 RAG 系统和 agent。 大多数 LLM 应用,你只要读几条输出、觉得看起来还行,就算测过了。可一旦改 prompt、换模型或调整检索,某个你从没检查过的地方就坏了。而到那时候,你已经说不清是哪个改动导致的。 LLM 评估能在用户之前发现这些故障。你构建测试用例,按写好的标准给每条输出打分,并在每次改动前后对比分数。这就是常规代码里的回归测试循环,只不过针对的是每次运行都会变化的输出。 我们先从为什么抽查会失效讲起。 LLM 的输出每次运行都不一样,而“正确”取决于上下文。单元测试断言相等,但“鞋子可在 30 天内退货”和“收货后一个月内接受退货”都是对的,任何字符串比较都无法识别这一点。 如果你以忠实度分数 0.7 作为部署门槛,那你每周都要为一个武断的阈值争论。用评估来指导迭代,用测试来保护发布。 每个评估都包含三部分:一个输入数据集、给输出打分的评分器,以及随时间记录的分数。本文后续内容都建立在这三者之上。 评分器接收一个测试用例(输入、输出,有时还有上下文或参考答案),返回一个判定或一个数值。评分器分为三类,如下所示: BLEU 和 ROUGE 这类重叠度指标统计与参考答案共享的 n-gram,因此正确的改述会得低分。BERTScore 这类基于嵌入的分数通过 token 嵌入之间的余弦相似度来处理改述,但它们需要参考答案,也无法判断语气,或某个论断是否有来源支撑。 只要规则能起作用,就先用代码评分器。它们零成本,且每次返回相同结果。只有当规则无法表达的评判标准,才额外加评判器。 LLM 评判器是一个被提示去给另一个模型输出打分的模型。它的职责比生成更窄:读取评分标准和候选答案,然后给出一个判定。三种配置覆盖了大多数用途: 评分标准就是全部。一个可用的评判器 prompt 包含四部分:评判标准的定义、评判器可用的输入、操作步骤,以及严格的输出格式。像“答案好吗”这样模糊的标准只会产生模糊的分数。对比一下下面这个用于政策问答机器人的忠实度评判器: call_llm 是你自己的函数,负责把 prompt 发给模型并返回文本。这个 prompt 里有三个设计选择很重要。推理(claims 列表)放在判定之前,这样判定就以证据为条件。 输出是结构化的 JSON,因此你可以解析它,并在分数看起来不对时记录推理过程。temperature 设为 0,可减少采样噪声。它并不能消除噪声,因为浮点非确定性和服务端批处理仍会在边界案例上偶尔产生翻转。对于翻转有影响的评判标准,把评判器运行奇数次,取多数判定。 claims 列表还能让你在不要求模型给出数字的情况下得到分数。 让 LLM“从 1 到 10 打分”会得到不稳定的结果,因为模型没有稳定的内部刻度。问答生成(QAG)避免了这个问题。评判器回答封闭式的是/否问题,由你的代码做算术。在上面的例子里,每个 claim 是一个是/否问题(“政策是否支持这一点?”),忠实度就是: 一个有四个 claim、其中三个有支撑的答案得 0.75。模型只做分类。分类是 LLM 执行最一致的任务,而且在 claim 判定相同的情况下分数可复现。大多数 RAG 忠实度指标都是这样工作的。 G-Eval 针对连贯性、有用性这类主观标准,这类标准没有可计数的离散 claim。它分两个阶段工作: 首先,框架使用自动思维链(Auto-CoT)prompt,把高层次评估标准分解为一步步的评估流程。 其次,表单填充式生成 prompt 把这些步骤与目标文本结合,生成 1 到 5(或 0 到 10,取决于框架)的分数,通过对输出 token 做概率加权求和来计算,以保证稳定性。 其独特之处在于最终数字的计算方式。G-Eval 读取分数 token“1”到“5”的概率,返回期望值,即概率加权平均值。如果模型在 4 和 5 之间给出 60/40 的分布,则得分为 4.4。这提供了更细的分辨率,并减少了模型总是坍缩到某个偏爱数字的习惯。它需要 token 的对数概率,而并非每个 API 都会暴露。如果没有,你可以通过采样多次判定并取平均来近似。 当标准可以分解为可核查的事实时,用 QAG。当不能时,用 G-Eval。 成对评判器回答“A 还是 B 更好?”,从而避开绝对刻度。它们对答案顺序敏感,所以每次比较都交换位置跑两遍,只保留判定一致的结果: 这里的“平局”意味着评判器的偏好跟随了位置而非内容。把这些计为平局并报告平局率。高平局率说明两个输出很难区分。 关于评判 LLM 输出的研究记录了一些一致的偏差: 缓解措施与之一一对应:交换位置;在 prompt 中加入“不要奖励长度”,并在数据集中加入长度匹配的测试用例;使用与被测系统不同家族的评判器。 最重要的缓解措施是依据人工标注进行校准。你自己标注 30 到 50 条输出,在同一集合上运行评判器并对比。当大多数案例都通过时,原始一致率会产生误导。如果你 90% 的案例是 PASS,一个总说 PASS 的评判器与你 90% 一致,却什么也没告诉你。Cohen's kappa 校正了偶然一致。用 scikit-learn,你可以这样计算:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。