百度开源Unlimited-OCR-2,开发者在Mac上实测文档识别
来源标题:Show HN: Unlimited-OCR-2 on Dual-Panel Lab Tables: What Works, What Breaks, How
百度以开放权重形式发布小型文档视觉语言模型Unlimited-OCR-2,可输出带版面标签、阅读顺序和表格的文本。一位开发者在Apple Silicon Mac本地实测,单页密集文档在MPS上推理约需9分钟,需手动修补两处CUDA调用并改用fp32才能运行。该页面结果网格之外的整页识别已可用。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
百度以开放权重形式发布了 Unlimited-OCR-2(ModelScope 上也有)。这是一个小型的文档视觉语言模型。它读取页面并返回带布局标签的文本、阅读顺序、表格以及多页上下文。模型卡中描述了 Sparse Reference Sliding Window Attention(SR-SWA),它能让长文档解码成本的增长速度不像普通全注意力那样快。
我在 Apple Silicon(MPS,fp32)上本地运行了 Unlimited-OCR-2。PDF 始终留在我的机器上。测试页面是一张中国医院的 CBC(全血细胞计数)+ 5 分类白细胞分类计数报告单:单页,密集的表头,然后是结果网格。下面我只描述布局。不包含患者身份信息,也不包含该文件中的真实检验值。
在那个页面上,整页推理对于结果网格之外的所有内容已经很有用:
在 M4 级 Mac 上的运行时间:模型加载约 19 秒,一个密集页面在 MPS 上用 Transformers 约 9 分钟。官方文档假设使用 NVIDIA CUDA。在 Mac 上,我修补了 masked_scatter_ 中的两处 .cuda() 调用,并强制图像张量使用 fp32(MPS 上的 bf16 会出现漂移)。之后,本地运行就正常了。
输出不只是一个扁平字符串。它返回文本块、标题、一个 HTML <table> 以及边界框。这种结构化标记正是我接下来要解析的内容。
仅为示例照片。这不是我运行的那份 PDF。它展示了同类型的 CBC 打印件:一个大矩形,两个结果列表并排,左右两侧有相同的列标题,两个列表之间有一条竖线,而每个列表内部几乎没有任何线条。纸叠中的复印件也会重叠。这就是为什么把整页当作一个表格来读取会失败。
医院检验报告通常由实验室计算机系统(LIS)打印。许多此类打印件会把两个独立的结果列表放在同一页上。左侧列表较长(WBC 到 RDW-CV)。右侧列表较短(RDW-SD 到 P-LCR)。两侧使用相同的表头:项目、结果、单位、参考范围。行数并不匹配。人们先读左边,再读右边。模型却仍然试图构建一个 HTML 表格。
Unlimited-OCR-2 就是这么做的。我在同类报告单上试过的 Paddle 风格表格工具也是如此。问题出在打印布局上,而不只是某一个 OCR 工具。
错误 HTML 的示意图(合成值):
<tr> <td>WBC</td><td>★白细胞计数</td><td>9.20↑</td><td>10^9/L</td> <td>3.5-9.5</td> <td>RDW-SD 红细胞分布宽度标准差</td><td>42.0</td><td>fL 40.0-53.0</td> </tr> 表头写的是八列:项目 / 结果 / 单位 / 参考,各出现两次。模型还把左侧项目拆成了英文缩写 + 中文名称两个单元格。该行之后的每个单元格都向后错了一位。在右侧,单位和参考范围有时落进了同一个单元格。较短的右侧列表结束后,仅属于左侧的行继续出现,而右侧单元格为空。模型是按行号把左右两侧拼接起来的。表头文本没有问题。错误始于模型被迫为两个长度不同的列表编造一个 <table> 的时候。
Unlimited-OCR-2 已经会在 0-1000 页面网格上返回表格边界框,例如 table[11, 247, 979, 753]。我把该框映射到像素,裁剪出结果区域,并在垂直中点处切开。每个裁剪图都送回同一个 Unlimited-OCR-2 模型。提示字符串是 "Free OCR."。这是 Unlimited-OCR-2 内置的指令,而不是另一个 OCR 产品。
full page └─ table bbox ├─ left panel PNG → Unlimited-OCR-2 └─ right panel PNG → Unlimited-OCR-2
每个裁剪图就是一个列表。在测试的 CBC PDF(不是上面的照片)上,我得到了左侧 18 行、右侧 6 行,并且 PLT 留在了右侧。这正是整页 HTML 搞错的归属错误。
仅靠面板裁剪还不够。在左侧裁剪图上,↑ 仍然与单位列混淆,许多参考范围缺失。右侧裁剪图更干净。切分页面阻止了左右混淆。它并没有修复同一侧内部的所有列混淆。
损坏的整页 <table> 仍然包含正确的文字和数字。它们只是落在了错误的单元格里。对于这张医院打印件,重复出现的模式是:
code | chinese_name | value | unit | ref | right_item | right_value | right_unit_ref
只要右侧列表还有行,就按此处理,之后是仅属于左侧的行。
一个小型解析器遍历每个 <tr>。如果单元格 0 看起来像检验代码,且单元格 1 是中文,那么前五个单元格是一条左侧结果。该行其余部分是右侧结果。合成示例:
这足以生成 JSON 或 Markdown,而无需再调用一次模型。左右裁剪图仍然有用于检查修复后的行是否与两侧匹配。
Unlimited-OCR-2 在中国医院表头和边界框方面表现很强。在双面板 CBC 报告单上,剩余的差距很简单:页面是两个列表,而不是一个表格,即使两个列表都位于同一个矩形内。拆分页面,或者修复 HTML,并让 PDF 留在本地。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。