
PostHog 实践:决策模型比前沿大模型便宜快数百倍
来源标题:Not Everything Needs an LLM
PostHog 在部分生产场景用决策模型替代大模型,前者成本最多低 444.6 倍、速度快 193.6 倍,还能输出带概率的结构化答案。他们用这类模型先判断是否真需要调用昂贵的 LLM,并已在 Replay Vision 中用于清理个人信息。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Jina Yoon 2026年11月9日 50 12 5 分享
LLM 废话特别多。你问一个简单问题,它回你几百字的“视情况而定”。烦得要命。
正因如此,对于更简单的任务,我们更喜欢 Jev 这类决策模型。你提出一个结构化的问题,就能得到一个带概率的类型化答案,大概长这样:
选择。刺猬属于哪个动物科?→ 哺乳动物,0.99 评分。刺猬目前的保护状况是什么?→ 无危,0.77
LLM 返回的是自由发挥、过度自信的长篇大论,而决策模型会把模型的不确定性明确表达出来。在一个经过校准的模型里,得分为 0.8 的答案大约有 80% 的概率是正确的。这意味着 0.5 分相当于抛硬币。
我们在 PostHog 一直在试验这类模型,其中几个用例已经上线生产。以下是我们到目前为止关于使用决策模型学到的一切:何时使用、如何使用,以及要避免哪些错误。
决策模型比前沿模型最高便宜 444.6 倍、快 193.6 倍¹,所以你可以用它们来判断自己到底需不需要发起一次昂贵的 LLM 调用。
我们在 Replay Vision 的一条流水线里就是这么做的,这个产品会为你观看并总结用户会话录像,而流水线负责清洗其中的个人信息。具体流程如下:
每份会话摘要都要经过决策模型的 2 个是/否问题。使用这样范围很窄的问题,能把误报减少到单个问题时的大约十分之一。 2.“这里是否显示了联系方式或身份证件?” 只要任一问题得分达到 0.4 或以上,就由 Gemini 重写摘要、去掉个人信息,然后再次检查。 否则,摘要就是干净的,直接通过这道关卡。在生产环境中,98.7% 的摘要完全跳过了 LLM 调用。
如果没有决策模型,我们就得不断调整提示词和正则表达式(它们总会漏掉东西),或者把每份摘要都发给 Gemini,只为抓出那 1% 需要处理的。
0.85 的概率得分仍然意味着每 1,000 次检查中约有 150 个错误答案,所以要提前为误报和漏报做好规划。
在 PII 这个例子里,误报只会让我们多花一次 LLM 调用,而漏报则会把个人数据当作干净数据存下来。这就是我们把阈值设得很低、定在 0.4 的原因。
当误报是代价更高的错误时,就用更高的阈值。比如我们最近更新了 PostHog in Slack 机器人,让它无需被 @ 也能回答问题。为了避免招人烦,它会检查频道里的每条消息,看(1)它是否在索取信息,(2)PostHog 能否回答。只有两项都以 0.85+ 通过的消息才会被处理。
要点:用决策模型在任务进入昂贵的 LLM 调用之前做筛选,并根据哪种错误代价更高来设定阈值。
我们的 PostHog in Slack 机器人还把决策模型用作模型路由器。
当机器人被 @ 时,它首先检查消息是否要求使用特定模型。如果没有,就用一个选择题从列表中挑选:
“选出最有可能一次就正确完成任务的最便宜选项。一次失败的运行比一个更聪明的选项代价更高。”
列表中的每个选项都附有一句简短说明,指出该模型擅长什么。GPT Luna 被描述为“一个轻量且非常便宜的模型。适合简短回答、查找、摘要和非常小的编辑。”然后决策模型会根据每个选项的文本给请求打分。
不同的任务、模型和提供商都有不同的阈值。
我们曾试验用它们自动合并 Error Tracking 中的相似日志,结果发现同一模型的 v1 和 v2 之间阈值会发生变化。我们不得不让阈值可以按 PostHog 项目分别配置,并在根据人工标注数据重新校准期间让评判器保持影子模式。
这也是我们增长团队的 Fernando 早早推动模型无关接口的原因之一。我们现在有一个内部的 AI 网关,用于切换和测试模型,包括自托管模型。
要点:用选择题把自由形式的 LLM 请求路由到能处理它的最便宜模型。记住阈值不能通用,要按任务、按模型分别设定。
如果一个问题需要更多上下文或链式推理,最好使用 LLM。不过,如果你有办法把输入压平或预处理,让它可以按表面值来检查,你仍然可以使用决策模型。
在 Replay Vision 中,当用户搜索“onboarding friction”这样的主题时,由于嵌入距离的工作方式,查询有可能返回一些意料之外的结果。
决策模型无法“对包含与用户搜索查询匹配的摘要的会话进行前 10 名排名”。这太复杂了。
于是我们先用嵌入得出一个初步的会话录像列表,再交给决策模型。这样决策模型剩下的唯一任务,就是看列表中每个结果与用户原始搜索词的匹配程度:
“这份摘要描述的会话是否与搜索要找的内容相符?”
然后按这个概率对结果重新排序。在 20 个测试查询上,这让排序质量提升了约 25%。
我们之前试过用决策模型做多步推理。在 Replay Vision 的嵌入功能就绪之前,我们试过为一个“亮点”信息流排序,挑出值得人花时间看的会话。问题是:
如果是,为什么值得看?(选项包括“屏幕上出现错误”“缓慢或卡住”“用户困惑”“用户放弃”等。)
按顺序处理这两个问题需要一个每小时运行一次的任务,发送大型请求——最多 32 个会话,每个 12-38k token——这会让模型服务器不堪重负,并阻塞其他产品的调用长达数小时。
所以,是的,从技术上讲,你可以把决策模型串联成多步判断,但在运营上不值得。把这种事留给 LLM,或者在决策模型看到数据之前就把重活干完,就像上面嵌入搜索的例子那样。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。