
Dharma-AI 发布 20 亿参数文档字段提取模型,性能超越前沿 LLM
来源标题:Dharma Field Extractor: Any Document In, Structured Fields in JSON Out
Dharma-AI 推出 Dharma Field Extractor,一个 20 亿参数模型,可从任意类型文档中按需提取指定字段并以 JSON 输出。该模型在测试中性能超过其评估的所有前沿 LLM,成本却低得多。这延续了其 4 月发布的 OCR 专用模型 DharmaOCR-LITE 的领域专精路线。
以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Dharma Field Extractor:任意文档输入,JSON 结构化字段输出
返回文章列表 Dharma Field Extractor:任意文档输入,JSON 结构化字段输出 团队文章 已发布 2026年11月4日 点赞 - Gabriel Pimenta de Freitas Cardoso GabrielPimenta99 关注 Dharma-AI Paulo Henrique de Medeiros Araujo Paulo-DharmaAI 关注 Dharma-AI Bruno Duarte brunoduarte01 关注 Dharma-AI Francisco de Almeida Rocha Alves falves9101 关注 Dharma-AI 模型能做什么 它是如何训练的 基准测试的边界在哪里 泛化能力测试 质量与成本兼得 来源 延伸阅读 一个 20 亿参数的模型,能从任意类型的文档中精确提取你指定的字段,在我们测试过的所有前沿 LLM 中表现最佳,而成本仅为其零头。 今年 4 月,我们发布了 DharmaOCR-LITE,这是一个专为多种文档 OCR 而设计的模型,覆盖合同、法院文书、发票、证件和表单等。其背后的论文为领域专业化提出了一个范围明确、论证充分的案例:一个更贴近任务训练的较小模型,在该任务上胜过了通用前沿 API。 OCR 给你的是页面上的文本,忠实于原始排版。当任务对象是整份文档时——比如你要从头读到尾的合同,或正在数字化的手稿——这正是你想要的。 然而,还有另一种使用场景:你不需要整个页面,你只需要从中提取特定字段,并以下游系统可消费的形式呈现。发票上的每一个行项目,作为一个列表。医疗申请单上的患者姓名、检查类型和日期,直接可用于排期。证件上的字段,映射到员工记录的各个列。 把这样的文档跑一遍 OCR,你得到的是上面印着的所有内容,逐行返回,却没有任何信息告诉你哪个字符串是检查类型、哪个是日期、哪个数字是总额。在数据进入数据库之前,仍然得有人写代码把每个值映射到正确的字段。 如今,通用 LLM 通过精心设计的提示词就能完成这项工作。但按前沿 API 的价格和延迟来算,对于许多企业需要高频运行的任务而言,这很快就会变成用昂贵的方式解决一个定义明确的问题。 所以我们专门为此训练了一个模型。Field Extractor 接收一张文档图像,以及要么一个“找出所有能找到的内容”的请求、要么一个待填充的精确 schema,然后返回结构化 JSON:带类型、逐字段、在文档有嵌套的地方也嵌套。一张发票返回时,每个行项目都是一个有序列表,各自带有数量和金额,同时附上总计。一张证件返回时,就是你将要存储的那些字段,用你系统已经在用的名称命名。同一个 checkpoint 处理所有这些,无需按类型微调。 模型能做什么 假设每天早上都有一批供应商发票到达,你需要从每张发票上提取四项信息推入系统:供应商、发票号、到期日、总额。医疗申请单进入排期系统、合同进入合规系统也是同样的情形——真正重要的是当事方、期限、违约金和罚款金额。你不需要整个页面,你需要特定字段。使用 Field Extractor,有两种请求方式: 如何选择取决于你已掌握的信息。当你不确定文档里有什么时,发送开放式请求。当输出必须匹配某个已存在于其他地方的形状时,发送 schema。 无论哪种方式,返回的都是 JSON:字段作为键,值按请求的类型化,文档中没有你所请求内容的地方则为 null。当你发送 schema 时,输出严格遵循它,键相同、没有多余字段,因此可以直接进入下一个系统。 它是如何训练的 基础模型是 DharmaOCR-LITE v1.1,这是一个新的 20 亿参数版本,在论文版本基础上优化而来,已经通过监督微调和 DPO 专门针对 OCR 进行了训练。在这个 checkpoint 之上,我们在 43,384 个训练样本上训练了一个 LoRA adapter,覆盖两种请求模式。 数据被组织为三个流: 三个流都在字段级别进行了标注。这种混合是刻意多领域的:收据、商业发票、表单、银行对账单、身份证件和合成文档,而非单一 filing 类型。 基准测试的边界在哪里 完整基准覆盖 546 份文档、三种请求场景,共 1,638 个案例:无 schema 提取所有字段、只命名真实字段的部分 schema、以及包含刻意不存在的字段的 schema。评分是字段级 F1(按路径匹配,包括表格内的位置),乘以匹配值的 Levenshtein 相似度,再乘以返回有效 JSON 的输出占比。 我们对四种通用前沿配置运行了相同的基准测试。 与通用 LLM 相比,质量差距从 1.8 分(Claude Opus 5,最接近)到 9.3 分(GPT-5.6 Luna,差距最大)。 成本则低约 6 倍(GPT-5.6 Luna)到约 147 倍(GPT-5.6 Sol)。两者的计价方式不同。前沿模型的数字来自实测的每页平均输入和输出 token 数(含推理 token),对照各提供商公布的列表价格。所有前沿模型都以低推理档运行;Claude Opus 5 使用了自适应努力,在更简单的页面上可跳过推理,同时保持在低档。我们的模型不按 token 计费:模型自托管运行,因此数字是单块 L40S 上每小时 2.24 美元的 GPU 时间。 这不是销售价格。自托管成本取决于硬件、用量以及每次部署所需的延迟。此处的对比是为了说明:部署在你自己基础设施上的主权 SSLM,是前沿 API 的一个切实替代方案。 泛化能力测试 SROIE 和 FUNSD 是我们基准中的两个公开数据集,未用于训练。以下是各一个示例。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。