返回资讯中心
外部精选
软件工程
#开发者实时流

PostHog 尝试用决策模型替代 LLM 处理简单任务

来源标题:Not Everything Needs an LLM

PostHog 在部分生产场景中用决策模型替代 LLM,称其比前沿模型最高便宜 444.6 倍、快 193.6 倍。这类模型对结构化问题返回带概率的类型化答案(如刺猬属于哺乳动物 0.99),并显式标注不确定性。PostHog 还用它判断是否需要调用昂贵的 LLM。

Hacker News 最新speckx2026/11/17 · 今天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

LLM 太爱啰嗦了。问个简单问题,它能给你扯几百字“视情况而定”。烦得要命。

所以我们更喜欢用 Jev 这类决策模型来处理简单任务。你提出一个结构化的问题,就能得到一个带概率的类型化答案,大概长这样:

Choice. 刺猬属于哪个动物科?→ 哺乳动物,0.99 Score. 刺猬目前的保护状况是什么?→ 无危,0.77

LLM 返回的是自由发挥、过度自信的长篇大论,而决策模型会把模型的不确定性明确表达出来。在一个校准良好的模型中,得分为 0.8 的答案大约有 80% 的概率是正确的。也就是说,0.5 分基本等于抛硬币。

我们在 PostHog 一直在试验这类模型,已经有几个用例进入了生产环境。以下是到目前为止我们关于使用决策模型学到的一切:什么时候用、怎么用、以及要避免哪些坑。

决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍¹,所以你可以用它们来判断到底需不需要发起一次昂贵的 LLM 调用。

我们在 Replay Vision 中用一条流水线来做这件事,这个产品会帮你观看并总结用户会话录像,而流水线负责清除其中的个人信息。具体流程如下:

每条会话摘要都要经过决策模型的两个是/否问题。使用这种范围很窄的问题,误报率能降到单个问题时的大约十分之一。 2. “这是否展示了联系方式或身份证件?” 如果任一问题的得分达到 0.4 或以上,Gemini 就会在不含个人信息的前提下重写摘要,然后再次检查。 否则,摘要就是干净的,直接通过关卡。在生产环境中,98.7% 的情况完全跳过了 LLM 调用。 如果没有决策模型,我们就得不断调整提示词和正则表达式(还总会漏掉东西),或者把每条摘要都发给 Gemini,只为抓住那 1% 需要处理的。

0.85 的概率得分仍然意味着每 1000 次检查中约有 150 个错误答案,所以要提前为误报和漏报做好规划。

在 PII 这个例子中,误报只会让我们多花一次 LLM 调用,而漏报则会把个人数据当作干净数据存下来。这就是我们把阈值设得低到 0.4 的原因。

当误报是代价更高的错误时,就用更高的阈值。比如,我们最近更新了 PostHog in Slack 机器人,让它不用被 @ 也能回答问题。为了避免烦人,它会检查频道里的每条消息,判断(1)是否在索取信息,(2)PostHog 能否回答。只有两项得分都在 0.85 以上的消息才会被处理。

要点:用决策模型在任务到达昂贵的 LLM 调用之前进行过滤,并根据哪种错误代价更高来设定阈值。

我们的 PostHog in Slack 机器人还把决策模型用作模型路由器。

当机器人被 @ 时,它首先检查消息是否要求了特定模型。如果没有,就用一个选择题从列表中挑选:

“选择最便宜的选项,它最有可能第一次就正确完成任务。一次失败的运行比一个更聪明的选项代价更高。”

列表中的每个选项都附带一段简短说明,介绍该模型擅长什么。GPT Luna 被描述为“一个轻量且非常便宜的模型。适合简短回答、查询、摘要和非常小的编辑。”然后决策模型会根据每个选项的描述文本,对请求进行打分。

不同的任务、模型和供应商都有不同的阈值。

我们曾尝试用决策模型来自动合并 Error Tracking 中的相似日志,结果发现同一模型 v1 和 v2 之间的阈值会发生变化。我们不得不让阈值可以按 PostHog 项目配置,并在根据人工标注数据重新校准期间,让评判器保持在影子模式下运行。

这也是我们增长团队的 Fernando 早期就推动模型无关接口的原因之一。我们现在有一个内部的 AI 网关,用于切换和测试模型,包括自托管模型。

要点:用选择题把自由形式的 LLM 请求路由到能处理它的最便宜的模型。记住阈值不会通用,所以要按任务、按模型分别设定。

如果一个问题需要更多上下文或多步推理,最好还是用 LLM。不过,如果你有办法把输入展平或预处理,让它在表面上就可检查,那仍然可以用决策模型。

在 Replay Vision 中,当用户搜索“入门引导摩擦”这类主题时,由于 embedding 距离的工作方式,查询有可能返回一些意想不到的结果。

决策模型无法“对包含与用户搜索查询匹配的摘要的会话进行前 10 排名”。这太复杂了。

于是,我们先用 embedding 得出一个初始的会话录像列表,再传给决策模型。这样,决策模型唯一要做的任务就是看列表中每个结果与用户原始搜索词的匹配程度:

“这条摘要描述的会话是否与搜索要找的内容匹配?”

然后按这个概率对结果重新排序。在 20 个测试查询上,这让排序质量提升了约 25%。

我们之前试过用决策模型做多步推理。在 Replay Vision 的 embedding 还没准备好时,我们尝试对一个“Highlights”信息流进行排序,挑出值得人花时间看的会话。问题是:

如果是,为什么值得看?(选项包括“屏幕上出现错误”“缓慢或卡住”“用户困惑”“用户放弃”等)

按顺序处理这两个问题需要一个每小时运行一次的任务,发送大量请求——最多 32 个会话,每个 12-38k token——这会让模型服务器过载,并阻塞其他产品的调用长达数小时。

所以,是的,从技术上讲,你可以把决策模型串起来做多步判断,但运营上不值得。把这种事留给 LLM,或者像上面 embedding 搜索的例子那样,在决策模型看到数据之前就把重活干完。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →