用TypeSafe Jev预筛新闻，LLM输入token成本降16-18%

在用 LLM 综合之前先用 TypeSafe Jev 筛选新闻，在 0.70 阈值下将输入 token 减少了 16–18%；盲评评审无法区分六个评估单元中的五个与原始版本。

Currents News API 的关键词搜索是为召回率而设计的。查询地缘政治动态或股票代码时，会返回所有提及搜索词的出版物，包括通讯社重复稿、模板化新闻稿和泛泛的行业观察列表。如果 agent 对这类输出做摘要，那么每次定时运行都要为每一篇文章支付前沿模型的输入价格，无论是否切题。

这两个层级在输入 token 价格上相差约 50–70 倍。前沿模型综合的输入目前约为每百万 token 2.00–3.00 美元；TypeSafe Jev 分类的输入为每百万 token 0.042 美元。实际可行的做法是把相关性判断前移：用 Jev 筛选每个候选标题和摘要片段，只把保留下来的候选送给综合模型。

我们端到端搭建了这条流水线，并在真实数据上进行了测量：两个真实新闻池中共 2,000 篇候选文章、来自三个综合模型的 60 份简报，以及一个在不知道哪份是过滤版的情况下对过滤版和原始版简报打分的盲评小组。在默认的 0.70 相关性阈值下，筛选将下游输入 token 减少了 16–18%；盲评小组六个质量评估单元中有五个与原始版本在统计上无法区分，第六个显示出小幅负向差异。更严格的阈值筛掉了 30–52% 的候选。按前沿模型价格计算，每个综合模型每 1,000 批 200 篇筛选批次大约净省 10–17 美元。

一个 200 篇候选批次大约消耗前沿模型 35,000–45,000 个 prompt token，一个完整的 1,000 篇池每次处理大约消耗 174,000–223,000 个。每日定时流水线每次运行都要支付这笔费用。成本不仅是金钱上的。边缘评论和联合发布重复稿还会消耗模型的注意力预算并拖慢生成速度，因为首 token 时间随上下文长度增加而增加。

三个问题决定了筛选是否有帮助：真实关键词搜索池中有多少是不相关的、去掉这些能节省多少 token、以及过滤后简报质量是否会下降。本文在真实数据上测量了这三点。

使用免费 key 即可跟着操作。免费额度包含每天 250 次请求，回溯 30 天。

TypeSafe Jev 是一个分类 API，定价为每百万输入 token 0.042 美元，本文使用 typesafe-sdk 0.6.0 进行评估。对于每个候选，流水线通过 Noul 原语发送一个紧凑的筛选 prompt，其中包含标题、描述片段和一个布尔相关性判断问题。Jev 返回 0 到 1 之间的概率。达到或超过阈值的候选连同标题、元数据和 Currents 描述一起通过。其余候选永远不会到达综合模型。

在实践中，这意味着相关性判断以分类成本完成，而非综合成本。

基准测试使用了两个各含 1,000 篇候选的实时新闻池，均在基准测试时从 Currents 拉取。没有手工挑选的样本。

第一个池是地缘政治：美国–格陵兰主权和北极防务动态。第二个是金融情报：AST SpaceMobile（$ASTS）星座部署、技术里程碑和资本结构。每个 1,000 篇候选的主题池由跨月度窗口的 12 个主题特定查询变体组装而成，并按文章 ID 去重；单篇文章未经人工挑选。

每个主题被分成五个 200 篇候选的批次，每个批次由同一模型综合两次，一次基于原始包，一次基于 Jev 过滤后的包。由此产生 60 份简报（2 个主题 × 5 个批次 × 3 个模型 × 2 个分支）。综合模型：claude-sonnet-4-6、gemini-3.8-flash、glm-5.3-flash。

一个由四个评审模型组成的盲评小组（均非被评分简报的作者）对每一对简报在覆盖率、忠实度、无依据断言数量、有用性方面打分。标签经过随机化，评审无法识别哪份是过滤版简报。我们在 30 对简报上收集了 82 个评审判定。Claude 评审在完成 20 个任务中的 12 个后因提供商配额中断了会话，这一部分覆盖情况反映在下面的小组汇总中。

本文中的每个 token 计数都来自提供商的用量字段：Jev 筛选 token、综合 prompt token 和输出 token。没有分词器估算。综合在温度 0 下运行以减少采样变异性；每次过滤/原始对比使用相同的模型和 prompt 结构，仅候选包不同。

质量差异按作者模型聚合为过滤版 − 原始版，并附有来自批次级 bootstrap（共 10 个批次）的 95% 置信区间。

在两个池中，Jev 保留了约 82% 的候选，将综合输入削减了约六分之一。（表中的 prompt token 为每筛选批次，跨三个综合模型合计。）筛选本身平均每篇文章 546 个输入 token，2,000 次筛选共 1,092,430 个 token。按 Jev 的 0.042 美元/百万 token 费率计算，每篇文章约 0.000023 美元。

这些结果表明，精确查询的实时关键词池所含噪声比通常假设的要少。当查询指名某个特定实体或事件时，大多数返回的文章都是相关的，因此在默认阈值下的过滤增益虽然温和但一致。

Jev 为每篇文章返回概率，因此截止值是可按需配置的参数。0.70 的默认值保留了约 82% 的候选。更高的阈值会去除更多候选：

在 0.85 时，同样的池去掉了 30–35% 的候选；在 0.95 时，超过一半。更高的截止值以边缘情况覆盖率为代价换取节省，因此阈值应与应用所需的召回裕度相匹配。

只有在简报质量得以保持时，token 节省才有意义。因此盲评小组对每一对简报打分，作者和评审角色保持分离，标签随机化。

各综合模型在两个主题上的小组有用性差异（过滤版 − 原始版）：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）