返回资讯中心
外部精选
软件工程
#开发者实时流

Datalab 推出文档转换工具 Marker 与托管平台,可将文档转为 Markdown 和 JSON

来源标题:Convert PDF to Markdown and JSON

Datalab 的 Marker 可将文档快速转换为 markdown、JSON、chunks 和 HTML,其托管平台采用最新开源模型 Chandra 等,准确率高于 Marker。在第三方基准 olmocr-bench(1403 份 PDF)上,Marker 平衡模式总体得分 76.0%,原生数字 PDF 得分 83.5%,领先 MinerU 和 docling。该平台批量处理服务峰值单日处理超 10 亿页。

Hacker News 最新saikatsg2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用于文档智能的最先进模型

Marker 可快速、准确地将文档转换为 markdown、JSON、分块和 HTML。

我们的托管平台使用 Chandra——我们最新的开源模型——以及其他模型:精度高于 Marker,支持可选零数据保留、SOC 2 Type 2 和自定义 BAA。

如果你有高负载需求,我们提供批处理服务,峰值时一天处理过 10 亿+ 页——基础设施由我们管理,确保你的任务按时完成。

Datalab API 将文档转化为可验证的知识,供你的 agent 使用。每个结果都能追溯到其所在页面和位置,一个 API 即可解析、提取、填写和编辑文档。

我们在 olmocr-bench 上评测 marker,这是一个第三方基准,包含 1,403 份 PDF,测试覆盖数学、表格、多栏布局、扫描件和棘手边界情况。Balanced 模式总体得分 76.0%——原生数字 PDF 上为 83.5%——领先于 MinerU 和 docling,与规模大得多的 VLM 处于同一区间,而 fast 模式运行布局 + 文本层路径的成本低得多(no-OCR 模式还要更快)。得分为 olmocr-bench 总体得分(8 个类别的宏平均)。

下方可查看完整的分类别得分、竞品对比,以及如何运行你自己的基准测试的说明。

要获得最高精度,传入 --use_llm 标志,让 LLM 与 marker 配合使用。它会执行诸如跨页合并表格、处理行内数学公式、正确格式化表格、从表单中提取数值等操作。它支持 Gemini、Claude、OpenAI 兼容、Azure、Vertex、OpenRouter 或 Ollama 模型。默认使用 gemini-3.5-flash。详见下文。

PDF 文件类型 Markdown JSON Think Python 教科书 查看 查看 Switch Transformers arXiv 论文 查看 查看 Multi-column CNN arXiv 论文 查看 查看 商业使用 我们的代码采用 Apache 2.0 许可——可免费使用,包括商业用途。我们的模型权重使用修改版 AI Pubs Open Rail-M 许可(研究、个人使用以及融资/营收低于 500 万美元的初创公司免费)。超出此范围的模型权重商业使用,请访问我们的定价页面。

Discord 是我们讨论未来开发的地方。

pip install marker-pdf

如果你想在 PDF 以外的文档上使用 marker,需要安装额外的依赖:

pip install marker-pdf[full]

推理后端前置条件

Surya 在首次使用时自动启动服务器,你需要 vllm(NVIDIA GPU)或 llama.cpp(CPU / Apple Silicon):

brew install llama.cpp # macOS

或从 https://github.com/ggml-org/llama.cpp/releases 下载发布版

用法

首先,进行一些配置:

我附带了一个 streamlit 应用,让你可以交互式地尝试 marker 的一些基本选项。运行方式:

pip install -U streamlit streamlit-ace marker_gui

转换单个文件

marker_single /path/to/file.pdf

你可以传入 PDF 或图片。

OCR 通过 surya VLM 运行,支持多语言——详见 surya README。如果你不需要 OCR,marker 可适用于任何语言。

marker /path/to/input/folder

marker 支持上面 marker_single 的所有相同选项。

--workers 是同时运行的转换 worker 数量。默认会自动设置,但你可以增大它以提升吞吐量,代价是更多 CPU 占用。所有 worker 共享一个推理服务器,由父进程启动。

父进程会自动为 VLM 总并发做预算:它读取服务器容量并分配给各 worker(总在途约 1.5× 容量),因此增加 worker 不会让服务器过载排队。只有需要覆盖时才自行设置 SURYA_INFERENCE_PARALLEL。

使用 --disable_ocr 时完全不启动推理服务器,进程池大小仅由 CPU 核心数决定。

--skip_existing 跳过 --output_dir 中已有输出的输入文件(用于续跑);--max_files N 限制转换的文件数量;--disable_multiprocessing 在单进程中运行所有内容。

批处理规模速查(例如 1000 份文档)

单 GPU 机器:marker /folder --output_dir out ——默认即可处理:一个 vllm 服务器、一个按 CPU 规模设置的 worker 池、并发按 GPU 预算。如果语料主要是数字文档、想要更便宜/更快的转换,加上 --mode fast。

多 GPU 机器:同样的单条命令,服务器跨 GPU:VLLM_GPUS=0,1,2,3 marker /folder ...

多台机器:对文件列表分片——每个节点运行一个 marker,使用 --num_chunks <节点数> --chunk_idx <本节点>。每个节点启动自己的服务器。

仅 CPU / 不用 VLM:marker /folder --disable_ocr(纯文本层提取;公式和扫描页会被跳过)。

从 Python 使用

参见 marker/converters/pdf.py 中的 PdfConverter 类函数,了解可传入的额外参数。

from marker.converters.pdf import PdfConverter from marker.models import create_model_dict from marker.output import text_from_rendered converter = PdfConverter( artifact_dict=create_model_dict(), ) rendered = converter("FILEPATH") text, _, images = text_from_rendered(rendered)

rendered 将是一个 pydantic 基模型,其属性因请求的输出类型而异。使用 markdown 输出(默认)时,你将获得 markdown、metadata 和 images 属性。对于 json 输出,你将获得 children、block_type 和 metadata。

你可以通过 ConfigParser 传入配置。查看所有可用选项,执行 marker_single --help。

from marker.converters.pdf import PdfConverter from marker.models import create_model_dict from marker.config.parser import ConfigParser config = { "output_format": "json

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →