
Jan Daniel Semrau 评测 Arbiter-8B 在金融文本分析中的实际表现
来源标题:How good is Arbiter-8B, really?
Jan Daniel Semrau 发文评测 Arbiter-8B 在其金融新闻聚合器中的实际效果,延续了他此前对 NER 微调、FinBERT-MRC 情感分析和 FiNER、GliNER 等模型的探索。他此前指出,单一任务模型只能回答一个问题,且 90% 的准确率仍不足以覆盖关键遗漏信息。文章以此前经验为背景,讨论 Arbiter-8B 能否解决多任务识别需求。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Jan Daniel Semrau(MFin,CAIO) 2026年11月10日 1 分享 大约三年前,那是2023年一个寒冷阴沉的九月夜晚,我在一篇文章中写了如何为我的金融新闻聚合器微调一个命名实体识别器。那个聚合器多年来不断演变,但我当时遇到的问题虽小,却持续恼人。我那款始终没能达到十亿付费用户的金融应用,其分析流水线总是把“Cathie Wood”拆成两个词,也分不清“shop”和$SHOP。那次微调解决了当时的问题,我便继续前行,继续构建。
几周后,在评审FinBERT-MRC时,我提出正面、中性、负面情绪是一种幼稚的信号:如果你在2022年11月跟随这一信号,你就会错过Meta和Nvidia。2025年2月,我又带着FiNER、GliNER和smolagents回到同一个问题,因为即使90%的命中率也不够好——当缺失的10%恰好包含研究团队(好吧……就是我)在寻找的东西时。
回看这三篇文章,它们都围绕同一个局限。 每个模型都被优化为只回答一个精确的问题。 NER标注器找出公司名称和股票代码。 FinBERT风格的分类器给出情绪评分。Loughran-McDonald之类的词典,以及在词袋特征上训练的梯度提升模型,也属于同一类。它们快速、廉价、确定性强、易于审计,这也是为什么资产管理中大多数文本处理仍依赖它们。 从历史上看,在光谱的另一端,大型语言模型推广了这种狭窄的局限,但也引入了新的局限。它们能用自然语言回答几乎任何问题,但在规模化时又慢又贵。我说的规模化,是指每天对数万条句子进行分类。当然,如果你有token预算,你可以这么做。但在我看来,这就像开劳斯莱斯去超市。 除此之外,虽然它们以可解析的自由文本回复,但置信度很难衡量,大多是“8”,而且使用它们通常意味着把机密数据发送给你可能信任、也可能不信任的第三方。 决策模型可能是两者之间的空间。Arbiter-8B是一个专注于金融主题的决策模型。它是一个指令微调的Qwen3-8B,在公司新闻和SEC文件的标注数据集上训练,最近已发布在Hugging Face上。 决策模型是一种语言模型,设计用于做决策,而非生成不受约束的文本。它根据特定问题或决策标准评估一段证据或给定上下文,并产生结构化答案,通常是从预定义集合中选择一个或多个选项。它不生成开放式散文,而是产生明确、可操作的决策。 derived source 类Jev模型在一次前向传播中读取请求,一个小型决策头将模型的最终隐藏状态转换为每个选项一个分数。对这些分数做softmax,得到每个选项的概率,这与分类器给出的输出类型相同:一个标签加上每个标签一个分数。不同之处在于,标签是按请求定义的,而非在训练时固定。 对决策模型的请求包含三部分: 证据:被判断的文本主体,例如标题、10-K中的一段,或央行声明中的一句。 标准:问题,可选地带有焦点实体。例如:“该标题对公司表达什么情绪?焦点实体:Nvidia。” 选项:带字母的列表,每个选项有一个短名称和一行定义。例如:“A,正面:该标题对该实体有利。” 与前沿LLM相比,决策模型放弃的是推理深度。它不写论证、不调用工具、不进行多步推理。我倒不认为这会有多大帮助。或者至少,它不应有多大帮助。 让我们从一个简单的分类任务开始,模型只需返回一个字母。也就是说,提示要求做一个决策,并取选项字母的对数概率。模型读取一次标题,为每个字母返回一个数字。对于上面的例子,结果决策可能像这样:A:0.05,B:0.15,C:0.80。显然,置信度最高的那个给出最终答案。 自然,我们希望决策具有高度确定性。否则它就没有用,也不可信。 因此,我在温度0、禁用思考的情况下运行该语言模型。它太小了,不适合思考。在所有83,790次请求中,它从未返回过一次无效决策,每个响应都带有可用的对数概率。 到目前为止一切顺利。但如果没有合适的基准测试,我们什么都不是。 众所周知,没有benchmaxxing,模型什么都不是。 为了运行这次评估,我选择了三个公开的金融NLP基准,并以零样本方式运行Arbiter:没有在基准上训练,提示中没有示例,也没有根据结果调整提示。唯一的基准特定输入是问题和选项定义,我为每个数据集根据已发布的标签描述各写了一次。 多数类基线是始终给出最常见答案的得分。它在EDT上最重要,那里77%的文章根本不宣布任何事件,所以一个“始终为无”的模型在准确率上看起来还不错,但实际上毫无用处。因此,我还报告了宏观F1(对每个类别等权)和少数类上的召回率。为了在零售机器上有效运行它们,我评估了提供的五个GGUF量化版本:F16(16.4 GB)、Q8_0、Q6_K、Q5_K_M和Q4_K_M(5.0 GB)。每个基准都跑遍了该模型的所有量化版本,因为我也想知道基准结果如何随模型变化。 与多数类基线(红色虚线)对照绘制,每个量化版本在三个基准上都超过了它,而且在每个基准内,五个柱子彼此相差仅几个点。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。