返回资讯中心
外部精选
软件工程
#开发者实时流

Aura发布PDF转Markdown表格基准测试,对比Docling、PyMuPDF、MarkItDown等工具

来源标题:Benchmarking PDF-to-Markdown Tables (Docling, PyMuPDF, MarkItDown, and More)

Aura UG发布了一项开源可复现的PDF转Markdown基准测试,专门评估原生商业文档中数字是否落入正确表格单元格,以及转换器是否写入原文不存在的数字。测试覆盖160份PDF,对比了Docling、PyMuPDF、MarkItDown及自家switchfile等候选工具,结果按文件均值与数字单元格总和分别统计并给出95%区间。

Hacker News 最新florain2026/11/16 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一份开放、可复现的 PDF → Markdown 基准测试,针对原生(born-digital)商业文档。它衡量的是页面级 OCR 基准通常不会衡量的东西:每一个数字是否落在正确的表格单元格中,以及转换器是否写出了文档中并不存在的数字。

本基准测试由 Aura UG (haftungsbeschränkt) 发布,该公司开发了 switchfile,而 switchfile 本身就是候选之一。我们亲自运行了每一个候选方案,包括 switchfile;参见“谁发布了这个基准”以及免责声明。

数字落在正确单元格中的比例,以百分比表示:按文件取平均(每个 PDF 只计一次)以及对所有数字单元格求和(大表格权重更高),所有 PDF 均给出 95% 区间;按生产者分别给出按文件 | 求和的结果。失败计为 0。损坏的数字是指输出中未按原样出现的数字,例如一个 2 从 CaCl₂ 中被撕裂出来,或 65 280 由两个单元格粘连而成;统计覆盖全部 160 个 PDF(括号内为受影响的 PDF 数)。

词召回率、阅读顺序、每页耗时、配对差异以及按国家、格式和语言的拆分:见 RESULTS.md。这些结果仅适用于这些文档、这些版本以及所述日期;参见免责声明。

82 份公开电子表格(XLSX)和 Word 文档(DOCX),来自政府开放数据门户和 Zenodo,语言为英语、德语和法语,采用允许再分发衍生作品的许可证(Open Government Licence v3.0、Datenlizenz Deutschland 2.0、Licence Ouverte 1.0/2.0、CC BY 4.0、CC0)。来源、许可证、校验和及获取日期:见 DATA-SOURCES.md 和 data/manifest.json。来源国:法国(data.gouv.fr)、德国(GovData、Hamburg)、英国(data.gov.uk)、国际(Zenodo)。没有任何一个国家提供超过一半的数字单元格(法国 40%、德国 39%、英国 11%、国际 9%、LibreOffice 集)。

经隐私审查后移除了两份原始文件,因为它们包含第三方的个人数据(data/removed.json、factory/remove.py)。它们不出现在任何集合、输出和评分中,构建日志将它们列为已移除。

四次抽取:两次宽泛抽取(种子 20261115、20261116),以及两次仅添加德国和英国电子表格的抽取(种子 20261117、20261118),因为前几次抽取使法国占据了大多数数字单元格。在后两次抽取中,超过 20 页的工作表会被裁剪到其前几页(打印区域;清单中的字段 crop)。

两个生产者系列,并排报告:Microsoft Office(Word 和 Excel)和 LibreOffice(Writer 和 Calc)。每个程序都在其能打开的每一份原始文件上运行:

LibreOffice 25.2(MPL-2.0):全部 82 份原始文件,在容器中使用固定构建(factory/Dockerfile),并采用文档语言的区域设置。404 页。

Microsoft Word 和 Excel for Mac 16.115(macOS 26.5)在 Microsoft 365 Business Standard 订阅下运行;运行前在每个应用的“关于”对话框中检查了许可证(2026-11-15;data/office-license.json)。

Word:Word 文档,由 factory/office_mac.py 逐个导出(AppleScript;遇到任何对话框以及 Word 发送超过遥测数据时停止)。37 份文档中的 36 份,206 页;Word 无法在不修复的情况下打开其中一个文件。日志:data/word-render.jsonl。

Excel:电子表格,由 factory/excel_prep.py 准备(仅保留 LibreOffice 打印的工作表和打印区域),并由 factory/office_mac.py --app excel 通过菜单逐个导出(另存为、PDF、整个工作簿、“最适合打印”,即本地导出;Excel 否则会建议其在线服务)。Excel 以文档的区域设置作为启动参数(-AppleLocale)运行,而非系统设置。45 个工作簿中的 42 个,171 页。日志:data/excel-render.jsonl。

Word 和 Excel 的 PDF 使用相同的真值和相同的检查保留(build.py adopt;data/build-word.json、data/build-excel.json、data/manifest-.json、data/pdf-/、data/truth-*/)。对 Excel 有两项调整,均按文件记录:当 Excel 将常规格式数字舍入到列宽时,使用同一原始值的舍入显示;当 Excel 分页方式不同时,通过匹配每个 Excel 页面,从原始文件的单元格网格(build.py grids)重新计算每页真值块,然后像之前一样检查。

真值来自原始文件,而非 PDF:

XLSX:打印工作表中每个可见单元格按电子表格显示的样子(已应用数字格式),及其单元格类型(数字或文本)。每个打印页一张真值表,按打印顺序:宽工作表将其列打印到多页上,因此转换器会看到多个表格。仅当工作表具有与打印页数相同数量的非空页面块,且每个块至少 90% 位于其自身页面上时,才保留该工作表。

DOCX:按文档顺序排列的段落和表格,从 word/document.xml 读取(合并单元格:值在第一个单元格中)。页眉、页脚和脚注不属于真值的一部分。

仅当文件的真值词至少有 97% 出现在 PDF 的文本层中(因此像 ### 这样的截断单元格不会对转换器不利)、打印不超过 20 页且没有修订痕迹时,才保留该文件。反过来,PDF 的词至少有 85% 必须在真值中(用于捕获无法隐藏的工作表、图表标签和浮动文本框)。data/build*.json 列出了每一份原始文件及其被丢弃的原因。剩余 45 份电子表格和 37 份 Word 文档;28,688 个真值单元格,其中 14,351 个为数字(LibreOffice 集)。

指标

所有候选方案均由同一代码评分(eval/,仅使用标准库)。管道表格和 HTML 表格被解析为相同的网格;python3 -I eval/mdparse.py --selfcheck 可验证这一点。

均值和单元格总和附带按源文档聚类的 95% bootstrap 区间:同一份原始文件的所有渲染结果(LibreOffice、Word 或 Excel)一起抽取,因为它们并不独立;对第一个候选方案的按文件配对差异同样如此。数字落在正确单元格中的比例以两种方式报告,权重相等:按文件取平均(每个文档只计一次)以及对所有数字单元格求和(少数大表格承载了大部分

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →