Sarvam发布基于Sarvam 105B的决策模型Sarvam Prism

今天我们发布 Sarvam Prism，这是一个基于 Sarvam 105B 构建的 System One 决策模型。

TypeSafe 在上个月开创了这一类别，并以卡尼曼的 System One 思维为其 Jev 模型命名——System One 是快速、直觉的判断模式，人们一天中的大多数决定都由它来处理。企业中大量的工作正是由一连串这样的决策构成，而校准良好的决策模型恰好能融入这些工作流。

顶尖的准确率与速度： 在我们测试的 25 个决策模型中，Prism 在准确率与速度的帕累托前沿上树立了新的标杆。该模型得分 71.8，而在 B200 GPU 上的响应时间仅为 44 ms，是我们测试的 25 个模型中（按三项指数平均）唯一在 100 ms 以内响应的最高分模型。我们认为 System One 模型会随规模提升而改善，并能从混合专家架构的权衡中受益，因此 Prism 基于 Sarvam 105B-10B 基座训练。

企业可信赖的校准： 企业要实现工作流自动化，就必须信任模型对其输出所给出的置信度。Prism 的误差始终落在其置信区间之内，而且它的答案不受选项呈现顺序的影响。

让它成为你自己的模型： 每个企业都有自己做出决策的方式，这由其数据以及这些决策的结果所塑造。我们以开放权重的方式发布 Prism，使企业能够在这个已校准的基座上用自己的数据训练，并在自己的基础设施上运行。

准确且快速

我们在相同的基准上，亲自用三项指数对 Prism 及其他 24 个决策模型进行了测试。对于每一个能在相同硬件（B200）上运行的模型，我们都使用其自带的推理代码进行了计时。

三项指数平均得分与中位响应时间对比，25 个决策模型 58 62 66 70 74 78 0 50 100 150 200 250 300 帕累托前沿mammoth-1 GLiDE 1.2 elephant-1 d3-ultra Torchcast-27B Clef OneJev-9B Jev 1.14 Microsoft-Decision-1 KnowLine-35B Sarvam Prism 71.8 每请求中位响应时间（ms）→Sarvam Prism：71.8，44 ms 越靠左上越好。响应时间是在单块 NVIDIA B200 GPU 上每请求的中位数。 各指数及其平均值，以及中位响应时间（越高越好）

• 公开披露的响应时间；这些模型仅提供 API。

得分是三项指数的平均值。第一项是 Jev Decision Index，包含 37 个公开基准。第二项是我们对 Artificial Analysis Decision Index 的复现，其中我们将其私有知识测试替换为精心挑选的难题，并包含一个"我不知道"选项。第三项是内部的印度语言基准。响应时间是对 1,000 个逐一发送的请求取中位数，每个模型运行其开发者自己的推理代码。Jev 1.14 和 Microsoft-Decision-1 仅通过 API 提供，因此我们标注的是其公布的响应时间（196 ms 和 85 ms）。从我们的集群实测，它们分别耗时 431 ms 和 533 ms。

在 100 ms 以内给出答案的所有模型中，Prism 的平均得分最高。有几个模型总体得分更高，但它们的响应时间要长两到六倍。Prism 最强的结果出现在我们复现的 Artificial Analysis 难题上——由于决策经过校准，模型会回答"我不知道"而非猜测，从而在这类题目上获得奖励。在印度语言方面，它的表现与我们测试的最佳模型持平或更好。

可信赖的置信度

企业实现决策自动化的方式是：仅在置信度高于某个阈值时才采纳决策。只有当输出的置信度经过校准——即其错误率应低于模型预期的错误率——这样做才是安全的。我们在 Jev Decision Index 的公开基准以及内部印度语言基准上评估了校准情况。

以至少 90% 置信度给出的答案的预期错误与实际错误对比（越低越好） 英语：37 个公开基准，226,088 道题。印度语言：同样的基准在 10 种印度语言和 Hinglish 下的版本，20,108 道题。

在我们测试的从 50% 到 95% 的每一个阈值上，无论英语还是印度语言，Prism 的实际错误都少于其置信度分数所预测的错误。对于置信度在 90% 或以上的英语答案，Prism 预测错误率为 3.3%，实际为 2.2%。Clef 与之接近，预测 2.8%，实际 2.3%。Perplexity Decider、Microsoft-Decision-1 和 Jev 1.14 则分别以 1.5 倍、1.8 倍和 2.7 倍低估了自己的错误。

在印度语言方面，Prism 预测错误率为 5.4%，实际为 4.4%。其他模型的实际错误是其置信度分数所预测的 2.7 到 4.8 倍。

同一答案，任意顺序

改变选项顺序可能会改变模型的答案。我们在 2,000 道题上测试了 Prism 是否会出现这种情况。我们将题目以打乱选项的方式运行四次，不打乱的方式运行四次。Prism 的答案在每一次打乱中都保持不变，且没有额外的计算开销，也没有准确率损失。

答案发生变化的 2,000 道题占比（越低越好） Perplexity Decider、GLiDE 1.2 和 mammoth-1 对同一请求给出相同答案，但当选项被打乱时，它们有 9-10% 的答案会改变。Jev 1.14 在没有任何变化时有 5.6% 的答案改变，打乱时则有 12.3%。Prism 按发送顺序读取选项，对同一请求给出相同答案，打乱时仅有 4.0% 的答案改变。Prism 通过在评分前将选项归入一个固定顺序——无论它们以何种顺序到达——并以原始选项名称返回每个概率，弥合了这一差距。经过这一步，它在 2,000 道题中有 0 道答案发生改变。

我们已在真实场景中测试了 Prism，例如语音到语音测试框架、trace 评估、提示注入防护、客户支持的意图路由、模型路由以及文档智能。

我们正在分享一些早期基准结果，后续还会陆续发布更多。

Agent trace 评估

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）