
Slop Index 上线:39 个前沿模型按「AI 味」排名,人机盲评打分
来源标题:The Slop Index: Which AI Model Writes the Least Like AI?
一个名为 Slop Index 的基准榜单上线,用来衡量各 AI 模型写作时「像 AI」的程度,并给出 39 个前沿模型的排名。评分基于与 ChatGPT 出现前真实人类写作的机器对比,以及任何人都可参与的盲评人类投票,且不设 LLM 评委。得分越高代表文字越像聊天机器人,榜首即最「AI 味」的模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 垃圾指数:哪个模型写出来的东西最不像 AI?
一份参考基准,衡量每个 AI 写出来的东西有多像 AI 垃圾。 由机器测量,并由盲测人类投票。
你有没有收到过这样的邮件:开头是“希望您一切安好”,正文恰好是三条整齐的要点,结尾还请你“随时联系”?你心里清楚。所有人都清楚。每个前沿模型都会写字;问题在于,它写出来的东西像人,还是像 AI 垃圾。
右侧的指数就是实时答案。三十九个前沿模型参与评分,对照的是 ChatGPT 出现之前收集的真实人类写作,外加一场任何人都能参加的盲测人类投票。分数越高,说明文字读起来越像聊天机器人,所以第 1 名就是榜单上最垃圾的模型。全程没有任何 LLM 参与评判。
嗨 Sarah,希望这封邮件一切安好!我想就时间线跟你对接一下。重点不只是赶上截止日期,而是要把事情做对。如有任何问题,请随时告诉我。期待合作!
Sarah,我们能往后推一周吗?我还在等设计文件,不想赶 QA。两种都行,告诉我一声就好。
带下划线的短语是指数统计的“破绽”之一,每一项都是对照 2022 年之前真人实际使用的频率来衡量的,而不是靠模型的猜测。
垃圾度,就是与 ChatGPT 出现之前收集的真实人类写作之间的距离,所以没有任何模型能影响这把尺子。语料库包括:2000–2002 年的真实职场邮件、2022 年之前的推文、完全早于生成式 AI 的散文和聊天记录。每个数字都是机械计算出来的,再加上一个重要的输入:人。
榜单是机器的裁决。竞技场收集你的裁决:同一任务的两个盲测样本,一个比另一个更垃圾。每一票都会推动评分中实时的人类轴。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。