返回资讯中心
外部精选
软件工程
#开发者实时流

Airbnb用1%成本实现前沿级LLM分类器

来源标题:Frontier quality at 1% of the cost: a production benchmark of LLM classifiers

Airbnb构建了一套LLM分类器生产基准,在达到前沿模型质量的同时,仅需其1%的成本。这些分类器用于检测风险用户内容、识别客服联系原因和分析评论主题等任务。Airbnb通过提取开源小模型的logprobs进行阈值评分,以满足低延迟和大规模服务需求。

Hacker News 最新eivarv2026/11/6 · 11 天前24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在Airbnb,我们用AI模型执行分类任务,例如检测有风险的用户生成内容、识别用户联系客服的原因,以及识别评价中的主题。这些任务需要细腻的语言理解能力,以及解读人们言外之意的常识。

拥有数千亿参数和互联网规模预训练的前沿模型通常擅长这些任务。但对于交互式产品和高吞吐负载而言,准确率只是要求的一部分。我们还需要低延迟、可控的 serving 成本,以及对假阳性和假阴性之间权衡的控制能力。

更小的开放权重模型在规模化运行时更快、更便宜。通过提取 logprobs,我们能够生成一个用于阈值判定的分数。但这些小模型被训练来处理极其广泛的对话,而我们的任务只占据其训练分布中极小的一角。开箱即用时,它们常常会遗漏对我们的产品至关重要的细微差别。

更好的 prompt 是有极限的。(我常常想起小学时的一项作业:写出如何制作 PB&J 三明治的指令。你写下“把刀放进花生酱里”,结果老师要么把刀戳穿罐子,要么把刀柄而不是刀刃插进去。似乎没有任何指令能详细到避免每一次可能的常识疏漏。)

GLOWC 是 Airbnb 工程师使用的内部框架,可以轻松地将开放权重语言(以及视觉-语言)模型微调为快速、准确的分类器。在这篇博客文章中,我们将其中一个分类器与开放权重模型和专有模型进行正面比较,发现它能在 100ms 以内达到前沿级质量,成本约为后者的 1%。

公开基准很少能反映真实产品的约束条件。因此,我们测试的是一个生产分类器,它负责筛查内容是否违反 Airbnb 关于定价和支付透明度的政策。该任务要求以高精度识别微妙的政策区别,因为假阳性会阻止合法内容发布。该模型每分钟被调用数千次,并且由于它实时把关发布流程,分数必须在 200ms 内返回。

我们在一个包含 10,000 个加权样本的留出评估数据集上,将有效参数为 20 亿(E2B)的微调分类器与开放权重模型和专有模型进行比较。1 微调模型使用来自未选择退出 AI 训练的用户所提供的去标识化样本进行训练。开放权重模型通过 vLLM 0.28.0 在单块 NVIDIA RTX Pro 6000 GPU 上自托管。参数量不超过 12B 的模型以 bfloat16 运行。更大的模型使用公开可用的 FP8 或 NVFP4 checkpoint。专有模型通过其厂商 API 调用。除非另有说明,每个模型都接收相同的约 400 词的简洁 prompt。

我们部署的任何模型都必须足够准确,才能被信任做出政策决定,并且足够快,以免破坏用户体验。这两个标准通常相互权衡,形成我们在下图中绘制的质量-延迟前沿。

我们报告 max F1 作为分类质量的衡量指标。虽然对于不平衡分类,我们通常更倾向于 PR-AUC,但大多数专有模型只返回 True 或 False 的判定,因此没有曲线可积分。Max F1 将两类模型放在同一个轴上:对于开放权重模型和决策模型,我们扫描阈值并报告最佳 F1。对于其他专有模型,我们报告其判定的 F1。结论不依赖于这一选择:在可获得 PR-AUC 的情况下,PR-AUC 和准确率对模型的排名与 max F1 几乎相同。延迟是我们的 serving gateway 记录的服务器端处理时间。

开放权重模型速度快,但牺牲了质量。许多开放权重模型的延迟低于我们的预算。分类质量和延迟往往随模型规模上升。2 开箱即用时,它们的性能平台明显低于最佳专有模型或我们的微调分类器。

专有生成模型准确但缓慢且不灵活。它们的分类质量不会随着更多思考而显著提升,因此我们报告低思考模式的结果。即使在低思考模式下,GPT-6.1 Sol 和 Claude Sonnet 5.5 的中位延迟约为 900ms,p99 达到数秒,是我们延迟预算的数倍。GPT-6 Luna 是我们测试过的最快的专有生成模型,但它在速度和准确率上都逊于在单块 GPU 上运行的 Gemma4-31B。并且,由于每个模型返回的是判定而非分数,它只给出一个单一的、固定的精确率-召回率点。在简洁 prompt 下,GPT-6.1 Sol 的精确率为 0.82,召回率为 0.96,在这个假阳性代价高昂的任务中偏向召回。要移动这个点,就需要重写 prompt。

决策模型在其速度下表现出色。TypeSafe 的 Jev 返回概率而不是生成判定,因此它不受 token 生成的拖累,可以像我们自己的分类器一样进行阈值判定。它是我们在 100ms 以下测试过的最准确的现成模型。

微调移动了质量-延迟前沿,而不是沿着它权衡。在数十万个领域特定样本上微调 Gemma4-E2B,将其 F1 从 0.563 提升到 0.902,与最佳专有模型相当,而中位延迟保持在 35ms。我们测试的其他模型在两个轴上都无法接近。

详细的 prompt 提升了分类质量,但没有弥合差距。我们还用一份详细的 2,700 词 prompt 测试了每个模型,该 prompt 用示例和常见假阳性逐一说明了每种行为类型。专有生成模型提升了一到三个点,大致与微调分类器相当,尽管延迟高得多。对于低于我们延迟预算的模型,提升幅度有限,且仍然存在很大差距。详细的 prompt 还增加了延迟和成本。综合来看,这些表明对于快到足以部署的模型,prompt 调优未必能弥合质量差距。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →