测试八款新决策模型，均未超越现有模型准确率

2026年11月14日更新，新增第八个模型Decisions Fast，并补充Decider Flash V1.3对第一轮测试38条描述的读取结果。

Plainlamp能把一份难懂的文档——比如论文、政策或标准——变成一段带旁白的短视频课程和一份指南。开头会有一个小型AI模型参与。当一个人用自己的话描述自己的文档时，这个模型会把这段话归入一个类别：论文、政策、标准、规则，或都不属于。这类模型被称为决策模型：它针对一段文本回答一道选择题，并说明自己有多确定。

11月2日，我们写过一篇关于用这道题测试27个决策模型的文章。11月4日，我们新增了第二轮测试，覆盖339条新描述。

此后，我们调用这些模型所经由的服务OpenRouter上架了九个我们尚未测试过的决策模型。其中八个能回答我们的问题。有一个是我们流水线所用模型的下一代版本。于是我们又测了一遍：同样的问题、同样的0.6判定线、同样的339条描述——这批描述我们从未公开过。

模型会收到用户的话和五个选项，每个选项配一条简短定义：论文、政策、标准、规则，或都不属于。它给出一个答案，并说明自己有多确定，取值从0到1。我们把这个数值称为它的置信度。一次读取，就是用一条描述调用一次模型。

我们的流水线接受0.6及以上的答案。如果答案是“都不属于”，或置信度低于0.6，流水线就不采纳模型的答案，也不会从用户的话里记录任何类别。在本帖中，与第一篇一样，我们把这称为一次“中止”。对每一次读取，我们都会问：我们的流水线会如何处理这个答案：

当没有任何类别适用时，一次中止就是正确的；当有类别适用时，一次中止就是一次失误。下文中我们统计某个模型的中止次数时，指的是失误：即本来有类别适用、却发生中止的情况。

完整的问题及五个选项的定义见我们的第一篇帖子。

我们在第二轮测试的339条描述上读取了这些新模型。这些描述是为该轮测试而写，我们尚未公开这组数据。第一篇帖子引用了其中三条及其答案；其余的不在任何公开渠道。每次读取都遵循上面的规则。

表格的排序沿用第一篇帖子的规则：先看采纳错误类别的次数最少，再看读取失败的次数最少，最后看答对最多。因此，错误类别更少的模型会排在答对更多的模型之上。

我们还按11月1日的方式，在第一轮测试的38条描述上读取了新模型：先读一次，再读三次，然后再在要求零数据保留的条件下读一次。对于Gemini Decision 1、HeyGen Decision 1 Turbo、HeyGen Decision 1和Decisions Fast，OpenRouter没有具备零数据保留的端点，拒绝了最后一次读取，因此它们对每条描述各有四次读取：总共152次。这38条描述及其答案自11月2日起就放在我们网站上。所以对后来发布的模型来说，这不算盲测。我们展示这些读取结果，是为了观察陷阱和稳定性；不据此得出任何结论。

我们将切换到Decider V1.3，也就是我们所使用模型的下一代版本。测试没有给出反对它的理由：它的计数与Decider V1.2相同，而且在更高的判定线下它会领先。测试也没有证明它更好：在我们的0.6判定线下，两者各自在一个描述上互有胜负。我们切换，是因为它是更新的版本。

在完成这次更换之前，我们的流水线使用Decider V1.2，即我们选定的带日期版本，并且每次调用都要求零数据保留。对V1.3，我们将保留这两条规则：带日期版本，以及零数据保留。11月13日，OpenRouter仅将V1.3列为免费端点，而免费端点有每日调用次数限制。

Gemini Decision 1是唯一一个从未采纳错误类别的新模型，而采纳错误类别正是我们最在意的危害。当天OpenRouter没有为它列出具备零数据保留的端点，而我们的流水线要求必须具备该条件。

第一篇帖子，连同此前两轮测试：我们测试了27个决策模型。有一个每次都对。

关于Plainlamp。Plainlamp能把一份难懂的PDF变成一段带旁白的短视频和一份通俗易懂的指南。每个要点都会标明它来自哪一页。

Plainlamp上线时我们会给你发一封邮件。仅此而已。之后我们会删除你的邮箱地址。

你需要先通过邮件确认，并且可以随时移除自己的邮箱地址。我们如何使用你的邮箱地址