返回资讯中心
外部精选
软件工程
#社区热议

Astra 6.2 与 Sol 6.2 在 SimpleBench 测试中表现不佳

来源标题:Astra 6.2 and Sol 6.2 flop at Simple Bench

Astra 6.2 和 Sol 6.2 在 SimpleBench 基准测试中成绩落后。该测试含 200 多道题,覆盖时空推理、社交智能和语言对抗鲁棒性,普通高中知识水平人类基线得分 83.7%,而测试的所有 LLM 均未超过,最高分为 Claude Fable 的 81.9%。

Hacker Newsalgoth12026/11/21 · 今天3 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们推出 SimpleBench,一个面向 LLM 的多项选择文本基准测试;在该测试中,具备非专业化(高中)知识水平的人类表现优于当前最先进的模型。SimpleBench 包含 200 多道题目,涵盖时空推理、社交智能,以及我们称之为语言对抗鲁棒性(即陷阱题)的内容。对于绝大多数基于文本的基准测试,LLM 的表现都优于非专业人类,并且日益超过专家级人类的表现。然而在 SimpleBench 上,基于我们九名参与者的小样本,非专业人类的基线成绩为 83.7%,超过了所有受测 LLM,包括当今顶尖模型 Claude Fable——其得分为 81.9%。尽管我们预计模型表现会随时间提升,但 SimpleBench 的结果证实:前沿 LLM 所依赖的记忆知识和近似推理检索,目前并不总能足以回答基本问题。

如需深入了解我们的结果与方法,请查看此处的完整技术报告。

在 Simple Bench 应用 - LMcouncil.ai 上使用所有这些模型。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →