返回资讯中心
外部精选
软件工程
#开发者实时流

作者自述难以绕过Pangram的AI文本检测

来源标题:It's a lot harder to beat Pangram than I thought

一位作者尝试构建自动化流程,将可被检测的AI生成文本改写为不可检测的版本,但在Pangram的检测上遇到困难。他因写作时依赖AI反馈、又反感AI文风,才开发这一循环工具,实际过程比预想中难得多。

Hacker News 最新shrike_cultist2026/11/6 · 12 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Gautham Srinivas 2026年10月9日 9 2 1 分享

我发现这些天要写完一篇文章真的很难。主要有两个原因:1)我发现如果不向AI寻求反馈,或者让AI帮忙填补一些空白,我就没法写作;2)和大多数人一样,我已经对AI写作的各种套路过敏了。那些“承重”式的提问,“这不只是X——而是Y”的句式,那些短句,那种熟悉的句子结构……我还能继续说下去。早在“slop”这个词流行之前,我就写过文章,说AI写作很尬。

这两个原因加在一起,意味着我现在比以往任何时候都更讨厌自己的文字。我用AI来头脑风暴、省去思考的功夫,结果又得花更多精力去清理它偷偷塞进来的那些诡异措辞。

中间地带的生活总是一团糟

“那你干脆不用AI写不就行了?”看看上面那张梗图,我显然处在“中等智商”区。与其去对抗自己在钟形曲线上的位置,我决定拥抱它,给自己造一个蠢东西:一个智能体循环,把能被检测出来的AI文字变成检测不出来的AI文字。

搭建这个循环的原料很简单。首先,我们需要可靠的AI文本检测。去年之前,我一直对这项技术极为怀疑,但最近我开始完全信任Pangram了。它在大多数场景下都表现得相当出色。我拿到了他们的API,开始计算pangram_score(text)。

然后,我们需要一个目标函数,让循环去衡量并向其爬坡。作为一个满怀野心/妄想的人,目标显然就是0% AI文本。我们还需要一些关于如何迭代的指令,以及记忆机制,确保智能体不会重复犯错,并尝试新方法。把它们拼在一起大概是这样:

while(pangram_score(text) >0% AI) {
rewrite_text() //调整指令,同时考虑记忆

为了跑这个实验,我把文章的前半部分给了Claude(Fable 5.1),让它帮我写完剩下的部分。提示词是:“你是一位多产的Substack作者。帮我写完这篇文章。写作时尽量避免Claudisms(Claude式腔调)。写得短一点。”Pangram全抓出来了。

我可能是个中等智商的人,但我可不铺张浪费。在跑我那个蠢循环之前,我想先看看这到底是不是一个LLM能爬坡过去的目标。让它一直跑到目标达成,闻起来就像烧光我Pangram额度的万无一失之法,而且还得不到什么好结果。

于是我在Claude Code上搭了这个循环,先精确跑了五次。我逼着Claude Code每次都调整指令,宁可牺牲输出质量也要达成目标。这意味着它可以无视语法正确性、无视拼写错误,基本上只要听起来像人话,什么都行。结果很烦人。

除了Herman Melville的,每一个版本都拿到了100%的AI评分。

Claude失败得太惨,以至于它开始怀疑Pangram的正确性。它发了一段《白鲸》的节选去“校准”API。我希望自己有一天也能有这种自信。

这下事情严重了。这不再是要掩盖AI文本,而是Claude Code对Pangram,我在旁边推推搡搡、唠叨个不停。我让它去研究Pangram是怎么工作的,然后推理LLM的架构,最后解释它为什么输得这么惨。

它最初的结论指向后训练是根本原因。据说Pangram对后训练导致的模式坍缩高度敏感,无论怎么在风格上做文章,都藏不住那些大喊“AI生成”的核心模式。

为了解决这个问题,Claude Code去下载了一个仅预训练(base)的模型(Mistral 7B v0.3),又试了十种变体。十次里有九次拿到了100%的AI评分。但其中一次拿到了85.5%的AI评分!进步 > > > > > 完美。

我要求它加倍下注同样的方法,把我带到0% AI。我固定了可以使用的Pangram API调用次数。我还给了智能体大约一个小时,让它彻底推理每一种方法,在每个合适的节点研究AI检测机制,并按需修正路线。Claude Code一直让我写一些原创文本给它做参考,我断然拒绝了。既然要作弊,那就得作得地道。

一个小时、十多万输入+推理token之后,我终于得到了一个0% AI生成的版本!

任何和Claude Code或Codex长时间共事过的人都知道,不能只看表面就信这些结果。设定一个“不惜一切代价解决”的目标,正是AI会去完成的那种任务,同时还会产生各种离谱的成本。

我让Claude Code解释它是怎么走到这一步的。它的回答真是承重级的!(抱歉,我没忍住)

用一个更简单的词来解释它干的事 = 抄袭。公平地说,这是一次相当壮观的抄袭。Claude专门找到了一篇2022年之前的文章,那篇文章不可能是用AI写的。然后它把那篇文章的部分内容拼接进我发的AI生成文本里。它用完全抄袭的文本去打Pangram API,拿到了0% AI评分。然后它不断降低抄袭的比例,直到评分发生变化。最终版本拿到了0% AI评分,以及Pangram给出的37%抄袭评分。

所以就是这样。教训是:如果你想让自己的文字听起来不像AI,那就自己写。但如果你不想自己写,那就去抄别人的文字。只要确保他们也没用AI就行。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →