
为什么AI生成的低质文本让人读起来如此痛苦
来源标题:Why Is AI Slop So Frustrating to Read?
语言模型在写作能力上落后于编程等其他能力,导致AI生成的低质文本(AI slop)读起来令人沮丧。职场场景中的这类文本——如Slack消息或PR描述——会额外增加读者的认知负担,用混乱的语言把本就复杂的问题表达得更难懂。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI slop读起来令人沮丧,因为讽刺的是,语言模型目前写作能力很差。语言方面的能力落后于编程等其他能力,原因在于:1)这些其他能力更容易用直接的奖励信号来优化;2)至少在短期内,它们看起来更具经济吸引力。
有一种我随口称为“随意型slop”的内容,包括大多数AI生成的社交媒体帖子和短视频。刷到这些东西确实烦人。但它们足够随意,就算我没能理解它们想传达什么,也不会有什么严重后果(反正它们背后通常也没什么明确的意图)。
但我想在这里聚焦的是另一种类型的slop。它出现在工作场景中,出现在我无法随手划过去的东西里,比如一条我一看就知道是AI slop、但为了推进工作又不得不去解读的Slack消息,或者一段用Claudish写成的PR描述。
这类slop给读者增加了精神负担。很多时候,其中涉及的想法本身就已经很复杂了,而AI又用令人困惑的语言把它们变得更加晦涩。
早在LLM出现之前,人们就已经在研究沟通的清晰性了。在经典写作教材《Style: The Basics of Clarity and Grace》中,Williams主张清晰的写作是我们对读者负有的责任,我们不应该让想法显得比实际需要的更难理解。如今,AI也有责任向那些阅读它输出内容、抓耳挠腮的人类提供清晰的表达。
清晰性看似主观,但我们发现人类对于什么构成清晰的沟通有着高度一致的看法。这为我们衡量清晰性提供了一个黄金标准。在这篇文章中,我们运用清晰性原则来识别和衡量AI slop。
我们在两种沟通类型中比较了AI和人类的写作:文章和编程讨论。AI样本中表达不清晰的比率远高于人类样本。
54% AI文章 / 10% 人类文章 / 78% Claude Code / 11% Stack Overflow
AI Slop的三大缺陷
为了理解是什么让AI写作变得不清晰,我们识别出了三个反复出现的缺陷。
每个句子都是一个微型故事,其中有角色在执行动作。句子有两个层面:故事层面和语法层面。通常,最清晰的版本会将角色与主语对齐,将动作与动词对齐。
语法:角色——谁(什么)参与其中——主语;动作——他们做了什么——动词。
一只鸭子走到柠檬水摊前,问道:“有葡萄吗?”
这种对齐并不是严格的规则。有时,我们会刻意调整语序来实现不同的强调效果。然而,AI写作经常在没有明确目的的情况下隐藏角色和动作。
在鸭子到达柠檬水摊后,一个关于葡萄的请求被提出了。
在这个句子中,我们必须越过语法主语“request”,才能识别出鸭子才是故事中真正的角色。然后,我们还需要重建动作,因为“走到”和“问道”被隐藏在了名词“到达”和“请求”之中。
模糊措辞是Claude Code中最常见的缺陷。它可以表现为歧义指代、名词堆叠或用词不当——这些在人类写作中也会出现。但AI有一种特殊的失败模式,那就是奇怪的词语组合。AI似乎缺乏关于人们通常如何描述事物的常识。
鸭子在其抵达饮料零售商时提出了一个葡萄可获得性请求。
把柠檬水摊叫做“饮料零售商”听起来很荒谬。我是故意构造这个句子的,但并没有夸大这个缺陷。我们在实际工作中会遇到这种情况,那里的概念更加专业和复杂。下面是Claude Code中启发我写出这个荒谬改写版本的句子。
数据库就绪检查位于用户会话入口边界处,在认证处理器运行之前。
有时,我们认识句子中的每一个词,但仍然难以找到重点。
除了结果之外,没有其他东西依赖于任何事物,所以我会在轮询返回后立即报告。
这个句子是可以理解的,但需要超过10秒才能处理完,而快速扫一眼本应就够了。
轮询结束后我会报告结果。没有其他待处理事项。
我们甚至可以省略“没有其他待处理事项”来更加简洁,但既然强调已经放在了正确的位置,这就变成了一个风格选择。
这三个缺陷构成了我们清晰性分类体系的基础,我们用它来标注写作。下面,我们按缺陷对相同的样本进行分解,看看每种缺陷出现的频率。
9% / 1% / 27% / 1% / 25% / 4% / 60% / 7% / 27% / 6% / 30% / 4% / 9% / 1% / 27% / 1% —— 隐藏的角色与动作 / 模糊措辞 / 空泛陈述与错位强调 —— AI文章 / 人类文章 / Claude Code / Stack Overflow —— AI文章 / 人类文章 / Claude Code / Stack Overflow
虽然“delve”和破折号等AI标志性特征被广泛与“slop”联系在一起,但它们并不是让写作变得草率的原因。下面,我们将清晰性测量结果与AI检测器进行比较。
99% AI文章 / 4% 人类文章 / 99% Claude Code / 0% Stack Overflow
下面是一个清晰性标注的示例。在这段代码片段中,我们在GPU上运行LLM推理。我们让Claude检查加速推理的Triton代码,以便我们能在CUDA中复现它。你可以查看高亮部分来了解哪些地方令人沮丧,或者关闭高亮来不间断地阅读回复。
阅读triton sm90a代码,确保我们能复现它。
已完成:Triton代码已阅读,CUDA克隆版能够复现它。
相同的算法,数值在±2%以内一致,而且首批CUDA专属调优参数已经在qkv和unpooler M16上带来了3%到5%的提升。剩下的一处热态差距(o: 12.3 vs 7.9 µs)纯粹是阶段深度造成的,因为10阶段的实例化超出了该GPU 101,376字节的限制1 KB;8或9个阶段就能消除这个差距。一个负面发现:在sm_120上使用带L2 evict-first提示的cp.async是有害的(会把热态变成冷态),而且崩溃过一次,所以排除了。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。