数据显示 Opus 5.5 推理输出下降约五成,语言风格同步改变
来源标题:Get ready for fewer Opus 5.5 em-dashes
有开发者用 OpenCode 对战系统数据验证了 Hacker News 上的说法:Opus 5.5 的推理输出相对匹配对手下降 50.6%,语言使用也出现变化,如更多使用“I'm”、更少使用“I should”“I need to”,破折号减少。断点测试显示 11 月 1 日最可能是转折点,而非原帖所称的 11 月 3 日。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几天前,Hacker News 上有一篇热帖声称 Opus 5.5 被削弱了,理由是推理 token 数量下降、语言使用方式也发生了变化。
帖子下面有人问有没有证据,我意识到我们恰好有!我们正在为 OpenCode 开发一套对战系统,它正好能提供 Opus 5.5 相对对手行为方式的数据。
我们先核对了帖子里的说法是否能被我们的数据证实——确实可以!与匹配的对手相比,Opus 的推理输出下降了 50.6%!
帖子声称 Opus 是在 11 月 3 日被削弱的,但看我们的数据图表,情况似乎并非如此。实际上,11 月 1 日看起来更有可能。
为了查清具体时间,我们用 bootstrap 断点检验测试了 16 个候选日期。11 月 1 日产生了最强的推理比率断点,不过 11 月 2 日和 11 月 3 日也完全可能是断点日期。
帖子还声称 11 月初语言发生了变化,所以我们也查了这一点。
三项指标都朝帖子所述的方向移动了:“I'm”变多,“I should”和“I need to”变少,破折号也变少了。其中两项通过了多重检验校正。
我很好奇,如果这些词变了,还有没有别的什么也变了?结果我发现了一件有意思的事!Opus 调整后的 em-dash 频率下降了约 43%,而对手的几乎没变。
为了找出候选词,我们按两个时期内的总体频率对单词、标点和空白字符进行了排序,然后做了统计检验。(说实话,我担心这属于钓鱼式探索,普通 p 值不够用,Astra 建议用 BH-25 p 值。)
有五种模式的校正后 p 值低于 0.05:
既然 em-dash 是对 Opus 的主要抱怨之一,那么这似乎已经超出了“削弱”的范畴,实际上是在测试一个新模型。
“I'm”的增多也很有意思。任何系统都有一套可供性(affordances)来帮助用户与之交互,而在某种程度上,人格性正是 AI agent 的一种可供性。看来 Opus 会朝着这个方向更进一步。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。