
Datalab 推出文档转换工具 Marker 与托管平台,可将文档转为 Markdown 和 JSON
来源标题:Convert PDF to Markdown and JSON
Datalab 的 Marker 可将文档快速转换为 markdown、JSON、chunks 和 HTML,其托管平台采用最新开源模型 Chandra 等,准确率高于 Marker。在第三方基准 olmocr-bench(1403 份 PDF)上,Marker 平衡模式总体得分 76.0%,原生数字 PDF 得分 83.5%,领先 MinerU 和 docling。该平台批量处理服务峰值单日处理超 10 亿页。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用于文档智能的最先进模型
Marker 可快速、准确地将文档转换为 markdown、JSON、分块和 HTML。
我们的托管平台使用 Chandra——我们最新的开源模型——以及其他模型:精度高于 Marker,支持可选零数据保留、SOC 2 Type 2 和自定义 BAA。
如果你有高负载需求,我们提供批处理服务,峰值时一天处理过 10 亿+ 页——基础设施由我们管理,确保你的任务按时完成。
Datalab API 将文档转化为可验证的知识,供你的 agent 使用。每个结果都能追溯到其所在页面和位置,一个 API 即可解析、提取、填写和编辑文档。
我们在 olmocr-bench 上评测 marker,这是一个第三方基准,包含 1,403 份 PDF,测试覆盖数学、表格、多栏布局、扫描件和棘手边界情况。Balanced 模式总体得分 76.0%——原生数字 PDF 上为 83.5%——领先于 MinerU 和 docling,与规模大得多的 VLM 处于同一区间,而 fast 模式运行布局 + 文本层路径的成本低得多(no-OCR 模式还要更快)。得分为 olmocr-bench 总体得分(8 个类别的宏平均)。
下方可查看完整的分类别得分、竞品对比,以及如何运行你自己的基准测试的说明。
要获得最高精度,传入 --use_llm 标志,让 LLM 与 marker 配合使用。它会执行诸如跨页合并表格、处理行内数学公式、正确格式化表格、从表单中提取数值等操作。它支持 Gemini、Claude、OpenAI 兼容、Azure、Vertex、OpenRouter 或 Ollama 模型。默认使用 gemini-3.5-flash。详见下文。
PDF 文件类型 Markdown JSON Think Python 教科书 查看 查看 Switch Transformers arXiv 论文 查看 查看 Multi-column CNN arXiv 论文 查看 查看 商业使用 我们的代码采用 Apache 2.0 许可——可免费使用,包括商业用途。我们的模型权重使用修改版 AI Pubs Open Rail-M 许可(研究、个人使用以及融资/营收低于 500 万美元的初创公司免费)。超出此范围的模型权重商业使用,请访问我们的定价页面。
Discord 是我们讨论未来开发的地方。
pip install marker-pdf
如果你想在 PDF 以外的文档上使用 marker,需要安装额外的依赖:
pip install marker-pdf[full]
推理后端前置条件
Surya 在首次使用时自动启动服务器,你需要 vllm(NVIDIA GPU)或 llama.cpp(CPU / Apple Silicon):
brew install llama.cpp # macOS
或从 https://github.com/ggml-org/llama.cpp/releases 下载发布版
用法
首先,进行一些配置:
我附带了一个 streamlit 应用,让你可以交互式地尝试 marker 的一些基本选项。运行方式:
pip install -U streamlit streamlit-ace marker_gui
转换单个文件
marker_single /path/to/file.pdf
你可以传入 PDF 或图片。
OCR 通过 surya VLM 运行,支持多语言——详见 surya README。如果你不需要 OCR,marker 可适用于任何语言。
marker /path/to/input/folder
marker 支持上面 marker_single 的所有相同选项。
--workers 是同时运行的转换 worker 数量。默认会自动设置,但你可以增大它以提升吞吐量,代价是更多 CPU 占用。所有 worker 共享一个推理服务器,由父进程启动。
父进程会自动为 VLM 总并发做预算:它读取服务器容量并分配给各 worker(总在途约 1.5× 容量),因此增加 worker 不会让服务器过载排队。只有需要覆盖时才自行设置 SURYA_INFERENCE_PARALLEL。
使用 --disable_ocr 时完全不启动推理服务器,进程池大小仅由 CPU 核心数决定。
--skip_existing 跳过 --output_dir 中已有输出的输入文件(用于续跑);--max_files N 限制转换的文件数量;--disable_multiprocessing 在单进程中运行所有内容。
批处理规模速查(例如 1000 份文档)
单 GPU 机器:marker /folder --output_dir out ——默认即可处理:一个 vllm 服务器、一个按 CPU 规模设置的 worker 池、并发按 GPU 预算。如果语料主要是数字文档、想要更便宜/更快的转换,加上 --mode fast。
多 GPU 机器:同样的单条命令,服务器跨 GPU:VLLM_GPUS=0,1,2,3 marker /folder ...
多台机器:对文件列表分片——每个节点运行一个 marker,使用 --num_chunks <节点数> --chunk_idx <本节点>。每个节点启动自己的服务器。
仅 CPU / 不用 VLM:marker /folder --disable_ocr(纯文本层提取;公式和扫描页会被跳过)。
从 Python 使用
参见 marker/converters/pdf.py 中的 PdfConverter 类函数,了解可传入的额外参数。
from marker.converters.pdf import PdfConverter from marker.models import create_model_dict from marker.output import text_from_rendered converter = PdfConverter( artifact_dict=create_model_dict(), ) rendered = converter("FILEPATH") text, _, images = text_from_rendered(rendered)
rendered 将是一个 pydantic 基模型,其属性因请求的输出类型而异。使用 markdown 输出(默认)时,你将获得 markdown、metadata 和 images 属性。对于 json 输出,你将获得 children、block_type 和 metadata。
你可以通过 ConfigParser 传入配置。查看所有可用选项,执行 marker_single --help。
from marker.converters.pdf import PdfConverter from marker.models import create_model_dict from marker.config.parser import ConfigParser config = { "output_format": "json
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。