返回资讯中心
外部精选
软件工程
#开发者实时流

开发者训练小型本地校对模型Sherlock,可解释每处修改

来源标题:The Model Who Cried Wolf

开发者训练了一个小型本地校对模型Sherlock,能修正拼写、语法和标点,并像编辑一样解释每处修改,同时不对已正确的内容做改动。作者认为校对工具最大的问题不是漏错,而是误改原本正确的文本,这会让人不再信任建议。文章介绍了初版训练过程、遇到的弯路和当前数据表现。

Hacker News 最新jonsharratt2026/11/20 · 今天29 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个发现之旅:训练一个小型本地校对模型,它能修正拼写和语法,像编辑一样解释每一处修改,并且对已经正确的内容不作改动。

校对工具犯的错,大多不是漏掉的错误,而是对本来没问题的文字做了改动。

漏掉一个逗号没什么代价,因为通常没人会注意到。而一个错误的改动却要消耗注意力。你必须停下来,读那条建议,判断它是错的,然后把它关掉。

这样重复几次之后,你就不再读那些建议了——这意味着即便工具是对的,它也已经失效了。软件工程里的很多事情都是如此,这总让我想起那句著名的“狼来了”的故事。

所以,当我开始打造 Sherlock 时——这是一个小型写作模型,能修正拼写、语法和标点,还能解释这些改动——我把三个问题排在了所有其他问题之前。

这篇文章要讲的是我如何训练 Sherlock 的初始版本、过程中出了哪些问题,以及目前的数据是什么样子。

有趣的是: Sherlock 的名字来自我们那只正在接受训练的波士顿梗幼犬。至于模型和它哪个更容易训练,我还没想好。

真正部署之后,没人陪它玩的时候它就会睡觉(不像我们那只波士顿梗)。沉寂一段时间后的第一次运行可能会稍慢一点,因为它在调度一块 GPU 来使用。

#问题

在 2026 年,做校对工具最直接的办法就是给通用语言模型一句提示:“修正这段文字里的错误”(可别出错啊!?)。这办法能用,算是能用吧。麻烦出现在你给它一段没有任何错误的文字时。

还有一个额外的因素:我还想让模型对它所做的修改给出结合上下文的反馈。我想让这些改动更像人类编辑的做法,而不是传统的基于规则的方式。

我从 Wikipedia 取了 1,000 段真实段落,每一段都已经由人类编辑校对过,然后让模型去校对它们。每个通用模型都得到了一段专为这项任务写的提示(修正拼写、语法和标点,不要动正确的文字,只回答修改之处),外加三个示例,其中一个是没有任何需要修改的段落。

我还手工把 800 多处真实的 Wikipedia 修改标记为“真正的错误”或“仅仅是风格改动”。每当 Sherlock 在我自己的使用中出了错,我就会在训练数据里把整个这类错误修正过来。

这些段落几乎每一个的正确答案都是“无需修改”。

这个交互场景需要 WebGPU 或 WebGL2。

改动一段文字并不总是错误。编辑也会漏掉真正的错误。所以模型做出的每一处改动,都要按照一条严格的规则来评判:

评判者是语言模型,它们依据这条规则盲评。它们不知道自己在读谁的改动,所有人的改动被混在一起。

在 Sherlock 的 251 处改动中,有 116 处修正了编辑漏掉的真正错误。119 处包含错误的改动。16 处落在本来就已损坏的文字上(被剥掉的模板、粘连的引用),这种地方没人说得清什么是对的。

与它自己体量相当的两个模型相比,Sherlock 目前的错误改动不到它们的一半(是 Qwen 的四分之一),而找出的真实错误数量大致相当。

对 Sherlock 不利的诚实一点是 Gemma 4 26B,它的体量是 Sherlock 的六倍。它找出的、编辑漏掉的错误是 Sherlock 的两倍多。但为了做到这一点,它每四个成品段落就会往里塞一处错误改动,是 Sherlock 的两倍。你更想要这个取舍的哪一边,取决于你宁愿漏掉一个错误,还是宁愿关掉一条糟糕的建议。

通用模型并不笨。它们被训练得乐于助人,而一处改动看起来就像是帮助。在专门构造来引诱改动的句子上(一个正确的虚拟语气、一个正确的“neither … nor”、一个看似悬垂其实并不悬垂的修饰语),同等体量的提示模型会改动其中 7%–17%。Sherlock 只改动 0.8%:1,332 句中的 11 句,而且它仍然找出了其中植入的真实错误的 72%。Gemma 4 26B 改动 2.8%,找出的植入错误更多(84%)。在干净的、构造出来的句子上,更大的模型是更强的语法学家。

有一种办法可以帮助过度积极的模型:多问几次,只保留它们一致同意的部分。对一个模型采样八次,只有当八次中有七次或八次都做出某处改动时,才保留它。这有效。Qwen 3.5 4B 采用 8 次采样投票后,改动正确段落的比例从 63% 降到 6%–11%。

这里的代价是,你在每次请求时都要付:八次采样而不是一次。

我在打造 Sherlock 时想要的是相反的取舍:你在训练时付一次代价,然后永远只跑一次快速推理。

Sherlock 基于 NVIDIA Nemotron 3.5 Bolt E4B,这是一个有效参数约 4B 的小型模型。我只是在它上面训练一个 LoRA adapter,合并进去,再量化到 4-bit(Q4_K_M,5.3 GB),这样它就能在普通硬件上的 llama.cpp 里运行。它甚至能在我这台 MacBook Pro M4 Max 上本地跑得非常快。

它只做一件事。它不聊天、不做摘要,也不用更好听的语气改写你的段落。它接收以块形式给出的文档,用一种定制的紧凑格式返回一份修改列表。

大多数段落什么都不需要改,所以最常见的回答代价几乎低到不能再低。在 3,000 段真实段落上,Sherlock 平均输出约 8 个 token(中位数:2)。通用模型在同样精简的格式下,单次询问会输出 14–27 个,主要是因为它们改动的段落更多。用投票的话,它们会输出 107–227 个。

这个交互场景需要 WebGPU 或 WebGL2。

此外,你还可以问 Sherlock 某处改动为什么做出,它会告诉你。展开一处修改,它就会用一句话针对你的原话作出解释:

Each of the volunteers has brought their own lunch. 天气 effected → affected 到场人数的影响没有我们担心的那么大。

Sherlock:“Affected 表示天气改变了到场人数,而 effected 则会错误地暗示天气造成了某种实体上的结果。”

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →