返回资讯中心
外部精选
软件工程
#开发者实时流

Astra 6.2 与 Sol 6.2 在 SimpleBench 基准测试中表现不佳

来源标题:Astra 6.2 and Sol 6.2 flop at Simple Bench

Astra 6.2 和 Sol 6.2 在 SimpleBench 上的成绩落后于未受过专业训练的普通人基线(83.7%)。该基准包含 200 多道题,覆盖时空推理、社交智能和语言对抗鲁棒性,共测试了九个普通人类参与者。即便是顶级模型 Claude Fable 也只拿到 81.9%,说明当前前沿 LLM 的推理能力仍不足以应对基础问题。

Hacker News 最新algoth12026/11/21 · 今天3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们推出SimpleBench,这是一个面向LLM的多选题文本基准测试,在该测试中,具备非专业化(高中水平)知识的个人表现优于SOTA模型。SimpleBench包含200多道题目,涵盖时空推理、社交智能,以及我们所称的语言对抗鲁棒性(即陷阱题)。在绝大多数基于文本的基准测试中,LLM的表现都优于非专业人类,并且日益超过专家级人类的表现。然而,在SimpleBench上,非专业人类的基线得分为83.7%(基于我们九名参与者的小样本),超过了所有受测LLM,包括当今顶尖模型Claude Fable,其得分为81.9%。尽管我们预计模型表现会随时间提升,但SimpleBench的结果证实,前沿LLM所依赖的记忆知识和近似推理检索,目前并不总是足以回答基本问题。

如需深入了解我们的结果和方法,请在此处查看完整技术报告。

在Simple Bench应用上使用所有这些模型——LMcouncil.ai

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →