
DocBlocks 推出 docbench 基准,评测 24 个本地小模型文档任务表现
来源标题:Benchmarks for document tasks for local AI models
DocBlocks 为其文档工具新增本地模型支持后,构建了 docbench 基准,专门评测 12B 参数以下的小模型在文档任务上的可用性。团队共评测 24 个参数从 0.8B 到 35B 的本地模型,原因是普通用户更可能用普通 GPU 或仅靠 CPU、16GB 内存的设备运行这些小模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
DocBlocks 最近加入了本地模型支持,让文档任务能用上 AI 功能。用户选择一个模型后,系统会自动下载,随后就能使用文档审阅、内容编辑等基础功能。
很快我们就碰到了一个明显的可用性问题:面对琳琅满目的模型,用户怎么知道该选哪一个?虽然 Gezel 的整体评分卡已经提供了不错的参考数据,我们还是专门针对文档场景下的模型可用性,做了一套聚焦的合成基准测试。
另外,模型的实用性差异极大,而且和模型规模直接相关——这一点相当明显。我们需要一种方式来量化它。于是有了 “docbench”。
docbench 聚焦的是 120 亿参数以下的真正小模型。原因在于,我们预计典型用户不会在配强力显卡的工作站级机器上跑模型,他们用的要么是性能一般的 GPU,要么“干脆”只有 CPU。参数在 10 亿到 40 亿区间的模型,通常能在配置至少 16GB 内存的现代普通电脑上运行,或者在一部现代高端手机上运行。
为此,我们针对 DocBlocks 实际会交给模型的工作——审阅、写作、图表、幻灯片、学习辅助和转录清理——对 24 个本地模型(参数从 0.8B 到 35B)进行了评分。我们据此构建了一个 100 分制的加权量表,其中包含静态分析和基于 AI 的输出评判两部分。作为对照,我们还通过 CLI 命令行测试了 GPT 6.1 Sol、Claude Opus 5.5 和 Claude Sonnet 5.5。
先说结论,细节在后: Qwen 3.8 27B Q4 以 81 分(满分 100)领先,Gemma 4 12B 以 79 分与它在统计上持平,而 4B 及以下的最佳模型大约能到 71 分。 审阅是区分模型能力最明显的一项:大模型能找出真正的问题,而 1–2B 模型则用琐碎或错误的建议把审阅意见凑数。 作为对比,现代云端模型得分在 87 到 91 之间,比测试中得分最高的本地模型至少高出 6 分。即便是历史版本的云端模型(例如 Claude Sonnet 4.6)表现也更好。 尽管这套评分标准在真实世界任务上似乎已经能很好地拉开低端模型的差距,但我怀疑,如果加入更难的编辑和写作挑战,云端模型会领先得更多。换句话说,我认为云端模型很可能已经触到了这些挑战的难度上限,但在更难的挑战上(比如审阅一篇科学论文),差距会进一步显现。
docbench 覆盖 DocBlocks 发布的每一项 AI 功能,按用户依赖程度加权分为六类。每个模型都要回答同样的 102 个测试用例(共 142 个输出,因为输出可变的任务会跑三次),每个回答按 0–100 评分。
某一类的得分是该类任务的平均分,docbench 总分是六类的加权平均。测试文档的质量被刻意控制在中等水平,这样优秀的审阅者才有真正的问题可找。每项结果的具体计算方式见附录 A。
经过多次运行、两台设备,我们发现四个模型共享最高档,紧随其后的是差距在 10 分以内的一组 4–9B 模型,而 3B 以下的得分迅速下滑。各类得分均为 0–100;排序按 docbench 总分。注意,下载大小与内存占用大致相关,不过像 Nanbeige 4.2 这样的模型属于例外,它们占用的内存远超其规模所暗示的水平。 † - 自定义许可证:参与评分,但 DocBlocks 永不推荐。“E4B”和“E2B”模型运行表现类似 4B 和 2B 模型,但嵌入部分承载了更多参数。 2 - 在另一台设备上、使用相同软件进行的第二轮运行。相似模型的对比测试误差为 ±1.3 分(评判分),很可能是采样噪声。 3 - 对于 Apple Foundation Models,大约有 3 分是因为全部 12 个插图用例得零分而丢失的——DocBlocks 只在 16K+ 上下文下提供插图功能,而 Apple 只有 8K。
写作容易,审阅难。写作得分在 54 到 89 之间;审阅得分在 14 到 72 之间,而且是最高两档中每个模型表现最弱的一类。
2-bit 的 27B 几乎追平其 4-bit 版本。Qwen 3.8 27B 在 Q2 下以 9.8 GB 内存占用拿到 79 分,与 Gemma 4 12B 持平,并领先于所有其他同规模模型。
更大并不总是更好。35B 的混合专家模型和 GPT-OSS 20B(一个较老的模型)都落后于稠密的 12B Gemma,主要差在审阅上。
零分意味着输出不可用。LFM2.5 的幻灯片和旁白回答每次都超出长度限制,导致 DocBlocks 什么也展示不了。
也许并不意外,每个模型在找错别字方面都比在结构问题上表现更好。
为测试审阅能力,我们把文档中植入的问题分为小、中、大三个等级,供模型发现: 小:涵盖基础语法修正、重复词、拼写错误和主谓一致。 中:涵盖更广泛的内容风格问题。例如被动语态和含糊措辞、冗长啰嗦。 大:涵盖更多文档层面的反馈。例如文档中的事实矛盾、对前文章节的冲突引用,或直到文档结论摘要才首次提出的陈述。
更具体的审阅风格会植入各自类型的问题: 事实核查。一份自来水厂通知建议居民烧开自来水,“因为烧开可以去除铅”。实际上并不能(烧开反而可能浓缩铅),所以这条安全建议是错误的。较小的植入问题包括算术失误,例如 48 中的 36 应写作 75%,文中却写成“36(60%)”。 简历。罗列职责而非成果(“负责维护内部报表仪表盘”)、没有数字的结果(“提升了分析站点的页面加载时间”),以及工作经历未按倒序排列。 政策。文中说“适用于所有全职员工”,却与后文给兼职员工安排远程日的章节矛盾;“核心工作时间”被要求执行,却从未定义。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。