返回资讯中心
外部精选
软件工程
#开发者实时流

博主回顾TypeSafe 8.7亿美元A轮融资,探讨决策模型与文本分类

来源标题:Decision Models Need Labels

博主对TypeSafe高达8.7亿美元的A轮融资感到意外,并由此重新审视文本分类问题。他回忆自己7年前创立的文本分类平台taggit.io未能成功,认为TypeSafe的核心赌注可能在于降低MLE负载和降低分类实现门槛。文章随后探讨了决策模型与LLM采样输出概率,并附有一个演示。

Hacker News 最新stuartaxelowen2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上个月,我看到了 TypeSafe 那笔高达 8.7 亿美元的 A 轮融资,老实说有点懵。我记得几年前谈论过这种“安全的 LLM 输出”策略,而发布后短短几天内就出现了有竞争力的克隆产品,这种速度印证了一个想法:这个问题“并没有那么有洞察力”。后来我意识到,他们的核心赌注未必是“提供准确的分类器”,而更可能是“降低 MLE 负担”和“扩大分类市场”,这得益于实现的便捷性。这些见解来自我 7 年前构建 taggit.io 的经历,那是一个文本分类器平台,让任何人都能训练和使用文本分类器。(唉,市场还没准备好™)

在经历了看到那里取得惊人成功的 N 个悲伤阶段后(并且走了出来),我意识到:a)规模化文本分类问题仍然有趣,b)自我上次关注以来,最先进的技术已经进步了,c)在那个交叉点上可能有一些有趣的东西值得探索。这篇文章就是穿过那座花园的漫步,叙述这个领域、我的发现,并展示一个小演示。

决策模型,即 LLM 对一个 token 的采样输出概率来代表答案类别,本质上是一个零样本分类器。传统上,分类器是在标注数据上从零开始训练的,从数据中学习关于任务的一切。后来,对于资源丰富的领域(文本、图像等),我们意识到可以在无标注数据上预训练大部分网络,因此分类器一开始就懂语言,只需要学习任务:例如,一个预训练编码器加上顶部的逻辑层,仍然是非常常见的文本分类器配方。我会把决策模型放在这个频谱的极端:它完全依赖预训练模型已经知道的东西,加上 LLM 的上下文学习来适应每个问题。

如果你眯着眼看,分类器在我们的产品和系统中扮演着一个有趣的角色:它将一个模糊的、主观的领域适配成一个简单的分类领域,局限于业务/产品等形式化体系中。它将任意文本转化为“安全/信任风险”标记,或将图像转化为“这些坐标处有一个苹果”。在重要意义上,创建、维护和改进分类器的能力,就是将现实世界问题适配为软件解决方案,并围绕它创建产品的能力。

在我们讨论标签/分类器/决策模型空间中每个用例的正确策略之前,我们将讨论一些支持该决策的重要概念:

在分类中,准确率是一个非常不完整的指标,尤其是在类别不平衡的情况下——而且几乎所有的分类器都有非平凡的类别不平衡。如果你在寻找感觉相似的质量指标,你很可能需要精确率、召回率和 F1 分数;维基百科有很好的解释。借用他们的说法:精确率是被分类为正的实例中真正为正的比例:TP / (TP + FP);召回率是所有正实例中被分类为正的比例:TP / (TP + FN)。F1 分数是精确率和召回率的调和平均值,是一个只有当两者都高时才高的单一数字。本文中的每个表格报告的都是宏 F1:每个类别(这里,“是”和“否”)的 F1 的平均值,因此分类器不能通过忽略稀有类别来获得高分。

让我们取 200 个项目,其中 10 个是正例。一个总是说“否”的分类器准确率为 95%,但什么都没抓到:它的宏 F1 是 0.49。一个学到了一些东西、以 12 次误报为代价抓到 10 个中的 8 个的分类器,准确率较低,为 93%,但它的宏 F1 是 0.75,实际上值得发布。本文中的 taggit 数据具有相同的形状:总是用多数类回答的准确率为 0.61,但宏 F1 为 0.37。

准确率和 P/R/F1 都遗漏的另一个维度是校准。当一个分类器的置信度意味着它所说的内容时,它就是校准的:在它给出 80% 置信度的答案中,大约 80% 是正确的。这就是为什么 0.54 是有用的而不是噪声:你可以将其路由给人工审核,自动接受 0.98 的答案,并设置这些阈值,知道它们会带来什么成本。(校准并不意味着经常不确定;一个非常准确的模型可以将几乎所有东西放在 0 或 1 附近,并且是正确的。)令我惊喜的是,人们实际上一直在讨论决策模型的校准问题。在我构建七巨头规模分类器的经验中,消费者通常“只想要答案”;ML 教育的浪潮似乎随着 LLM 的兴起而水涨船高。

标准度量是期望校准误差(ECE):按置信度将答案分组(比如分成 10 个桶),比较每个桶的平均置信度与它实际正确的频率,并平均这些差距,按每个桶中答案的数量加权。0 表示完美校准。

按分数将每个预测分桶,然后比较每个桶的平均分数与其项目真正为“是”的频率。一个校准的分类器落在对角线上;ECE 是按每个桶中预测数量加权的平均差距。

已校准 · ECE 0.02 过度自信 · ECE 0.11 完美

以下是本文中的策略在 taggit 保留集上的表现:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →