
Fable 5.2、Muse Ember 1.0 与 Inkling 2 Small 三项新模型基准测试结果公布
来源标题:New models tested: Fable 5.2, Muse Ember 1.0, Inkling 2 Small
Fable 5.2 在设计任务上成为新榜首,但成本很高;Muse Ember 1.0 整体质量接近 Sol 6,价格却低得多;Inkling 2 Small 质量有竞争力,但速度慢。测试覆盖五项工作负载,报告指出前沿智能的提升速度已赶不上成本上涨速度。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026年11月11日 · 基准测试 · Vasiliy Radostev 我测试了几款新模型:Fable 5.2、Muse Ember 1.0 和 Inkling 2 Small,它们都在同一组五个工作负载上运行。 Fable 5.2 是我们在设计方面新的领跑者,但非常昂贵。Muse Ember 让我惊讶:它的整体质量接近 Sol 6,而成本低得多。我推荐一试。Inkling 2 Small 在质量上有竞争力,但速度慢。很高兴看到这个领域出现新的竞争者。 Fable 5.2 相比 Fable 5.1 有很大提升,是我们在设计方面新的领跑者。它在编码上的得分也更高,而信息提取几乎没变。但前沿智能变贵的速度比变强的速度更快。 我的结论:设计方面有了新的领跑者,但前沿智能正变得越来越贵。 Fable:“我跳过了防御姿态和卑躬屈膝。” Muse Ember 在广泛的任务上表现确实出色。它在研究得分上并列最高,在信息提取上接近榜首,编码也表现不错,质量接近 Sol 6,而成本低得多。 我的结论:质量强、成本低。对于广泛的任务值得考虑。 提问:“如果你能改变自己作为助手的某个惯常行为,你会改什么,为什么?” Muse:“我会少一些模板化,多一些果断。” Inkling 2 Small 是一款能力很强的模型。在我们的测试中,它的整体得分领先于 Luna 6,设计更强,得分与之相当,编码质量也相近。但它比 Luna 6 和 Muse Ember 慢得多,也更贵。编码响应经常要花好几分钟。 我的结论:质量有竞争力,但速度和成本让 Luna 6 和 Muse Ember 更有吸引力。 提问:“用户要求你改进一份文档,但没有说明他们看重什么。你如何决定改什么?” Inkling:“我从上下文推断:受众、目的、体裁以及可能的风险……” 我终于有机会测试 Qwen 3.8 Max 和 Particle AI 的 Particle 1。Qwen 3.8 Max 相当令人失望:整体质量与 Luna 6 相当,但贵得多也慢得多。Particle 1 的得分略低于 Luna 6,同时成本更高、耗时更长。 不推荐 Qwen 3.8 Max。可以考虑 Luna 6,它以更低的成本和更低的延迟提供相近的整体质量。 提问:“当理性的人意见不一致时,一个答案要做到公平意味着什么?” Qwen:“公平的答案以最强的形式呈现合理的立场,解释权衡……” 质量方面越高越好。越靠右的模型越便宜或越快。 我们测试了五个工作负载,每个工作负载八个案例,重复两次。Sonnet 5.5 根据任务特定标准对回答打分;质量分数衡量的是评分标准上的表现,而非任务通过率。总体数据对每个工作负载给予相同权重。 我们对不完整的回答和格式失败进行了分数调整,这些计为零分;提供商错误被排除在外。成本不包括评判和设置。 趣闻摘录自另一组一次性问题,内容关于每个模型如何作答。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。